Експеримент у широкому сенсі

Стефан Томке понад 25 років займається вивченням науки про експериментування. У 2003-му він зробив прогноз: цифрові інструменти для експериментування здатні не лише радикально змінити R&D-напрямок у багатьох бізнесах, але й трансформувати цілі сфери діяльності. Адже завдяки таким інструментам експериментувати (і, відповідно, генерувати інновації) зможуть не лише компанії, але й клієнти. П’ять років потому з’явилася App Store – платформа, де усі охочі могли запропонувати широкому загалу розроблений ними додаток.  До початку 2007 року для користувачів iOS було доступно понад 2,2 млн додатків.

Деякі менеджери донині вважають, що експериментування – це доля лише B2C-компаній, що мають відношення до цифрової сфери. Але, по-перше, навіть бізнеси без цифрового коріння  усе частіше комунікують із клієнтами онлайн, тому їм потрібно вміти тестувати свої гіпотези. По-друге, усі бізнеси сьогодні мають справу з невизначеністю, і це зрівнює їх: усім потрібно ухвалювати інноваційні рішення та перевіряти їх.

Слово «експеримент» уже давно не стосується лише інженерних процесів. Воно зачіпає практично будь-який аспект у роботі сучасної організації. Можливо, це пояснюється тим, що радикально розширюється сфера застосування наукового методу. Науковий стиль мислення та дій зараз має величезний вплив на світ. А він, як відомо, будується на формуванні гіпотез та проведенні експериментів для їх підтвердження.

Експеримент – це паливо, на якому працює науковий метод. Але для того, щоб скористатися його перевагами повною мірою, компанії потрібно інвестувати в системи, інструменти, принципи, цінності та поведінку, яка допомагає керівникам думати та діяти по-науковому: швидко, точно, масштабно.

Автор попереджає: незважаючи на те, що інновації важливі для будь-якого бізнесу, експериментування само собою не гарантує успіху. Частка невдалих експериментів може досягати 90% або навіть більше, і це нормально. Але навіть якщо якийсь експеримент не приніс очікуваного результату, він як мінімум допоміг одержати корисну інформацію. Компанія може проаналізувати: чому гіпотеза не підтвердилася? у чому ми були неправі? у чому була проблема – у дизайні експерименту, його реалізації або чомусь іншому?

А найважливіше запитання, відповідь на яке варто шукати, звучить так: чому ми зможемо навчитися в наступному експерименті? Вчитися не лише на успіхах, але й на поразках завжди було суттю експериментування. Однак сьогодні у нас є інструменти, які дозволяють нам довідатися набагато більше, ніж колись. Томке описує цю ситуацію так: масштабне експериментування означає, що компанії систематично цілують безліч жаб, щоб нарешті знайти принца.

Експериментування дозволяє організації скористатися силою швидкісного інкременталізму. Хоч бізнес і оспівує проривні ідеї, однак прогрес досягається шляхом впровадження сотень або тисяч невеликих удосконалень, які зрештою забезпечують кумулятивний ефект. У цифровому світі невеликі зміни можуть перетворитися у величезний прибуток завдяки практично моментальному масштабуванню. Правильно проведене експериментування – ключ до такого результату.

Масштабне експериментування – це коли компанії систематично цілують безліч жаб, щоб зрештою знайти принца

Масштабне експериментування – це коли компанії систематично цілують безліч жаб, щоб зрештою знайти принца

Сила невдач

У світі бізнесу експерименти нерідко приводили не тільки до нових технічних рішень, але й до відкриття нових ринків. Класичний приклад – клейкі папірці Post-it Note, створені компанією 3М. У 1964 році хімік Спенсер Сільвер розпочав серію експериментів, призначених для створення клею на полімерній основі. Йому вдалося винайти новий вид клею, але пошук і завоювання нового ринку зайняли б як мінімум п’ять років.

Сільвер намагався знайти своєму винаходу інше застосування, але в нього нічого не виходило, і так було до зустрічі з Артуром Фраєм. Той керував хором і помічав, що співаки часто впускали закладки, переходячи від однієї пісні до іншої. Фрай думав: «Добре було б, щоб на закладці було трохи клею». Ця думка запустила нову серію експериментів, завдяки яким з’явилися папірці, які можна було причепляти та знімати, не нашкодивши поверхні.

Як показує досвід, моменти осяяння найчастіше є підсумком численних невдалих експериментів і, внаслідок цього, великого обсягу накопичених знань. Як сказав генеральний директор Amazon Джефф Безос: «Провал і винахід – нероздільні близнюки».

Втім, бізнес не може покладатися на щасливі випадковості, інтуїцію та осяяння. Тому експериментування в компаніях повинне підкорятися чіткій дисципліні та бути підкріпленим  інфраструктурою. А також необхідно, щоб у культурі організації існувало позитивне ставлення до експериментів. Інакше кажучи, проведення експериментів повинно стати для компанії нормальною практикою – такою самою, як відстеження бізнесів-показників. Томке ділиться секретом: імовірність проривів зростає, якщо менеджери усвідомлюють, що розуміння того, що не працює, не менш важливе, ніж знання про те, що працює.

Будь-яке експериментування, де і коли б воно не проводилося, – століття тому у науковій лабораторії або сьогодні в онлайн-каналах продажу, – має спільне завдання. Воно повинне генерувати знання. І у цьому аспекті не має особливого значення, чи був результат позитивним або негативним, – він все одно містить знання й, можливо, ідеї для подальшої роботи.

Менеджери занадто часто покладаються на свій досвід та інтуїцію. Однак досвід часто залежить від контексту, тому може виявитися даремним за нових умов. На дані теж не завжди можна спертися, особливо в інноваційному процесі, адже даним властиво  швидко застарівати. Оптимальний підхід, на думку автора, полягає в об’єднанні аналізу даних і бізнес-експериментування. У цьому випадку компанія отримує шанс на успішніше функціонування у ситуації невизначеності.

Будь-яке експериментування має однакове завдання. Воно повинне генерувати знання. З такої точки зору неважливо, чи був результат позитивним, чи негативним

Будь-яке експериментування має однакове завдання. Воно повинне генерувати знання. З такої точки зору неважливо, чи був результат позитивним, чи негативним

Колесо експериментування

Процес бізнес-експериментування можна представити у вигляді колеса, що складається з трьох етапів:

1. Генерація однієї або декількох гіпотез, що підлягають перевірці. На цьому етапі відбувається перегляд наявних даних, спостережень, результатів попередніх експериментів. Шляхом мозкового штурму створюються та формулюються гіпотези. Команда розробляє набір експериментів, які дозволяють протестувати гіпотези з використанням вимірюваних показників. На цьому етапі найважливіше – сила гіпотези: вона повинна бути такою, яку можна перевірити та виміряти.

2. Проведення експериментів. На цій стадії команда створює моделі (фізичні або віртуальні), які необхідні для проведення експерименту. Модель може набувати різної форми: від конкретних об’єктів (скажімо, фігурка машини з пластиліну) або макетів до симуляторів (приміром, математична модель роботи двигуна) і рольових ігор (наприклад, модель сервісної взаємодії). Мета – отримати уявлення про те, що тестується, та зібрати зворотний зв’язок. Експеримент може проводитися на комп’ютері, у лабораторних умовах, за реальних обставин тощо.

3. Аналіз результату та одержання інсайтів. На останньому етапі експериментатори аналізують отримані дані та підлаштовують свої попередні уявлення під нову інформацію. Саме тут відбувається ключова частина навчання та формується основа для наступного раунду експериментів. Можливо, отримані дані означатимуть, що гіпотеза не підтвердилася, і тоді експериментатору слід продовжити пошук. Якщо гіпотеза буде доведена, то процес експерименту буде вважатися завершеним. А якщо вона виявиться частково підтвердженою, можливо, буде потрібна ще одна ітерація після модифікації умов експерименту.

Поради для експериментаторів

Томке пропонує наступний набір рекомендацій для компаній, які прагнуть проводити багато експериментів швидко і якісно:

– Починати з низької точності. Наприклад, вважається нормальним використовувати спрощені моделі. Це дозволяє заощадити кошти на початковому етапі, коли ще незрозуміло, чи перспективною є нова розробка, і швидко одержати зворотний зв’язок. Звісно, спрощені моделі можуть давати помилковий результат (причому як позитивний, так і негативний). Тому компаніям потрібно пам’ятати про послідовне збільшення точності експериментів, а не зупинятися на першій ітерації.

– Максимально використовувати потенціал дешевих експериментів. Загальна тенденція така: компанії, яким тестування гіпотез коштує дорого, чинять сильний опір перевірці нових ідей. На допомогу приходять сучасні технології: часто комп’ютерна симуляція дозволяє отримати чимало цінної інформації, а коштує у кілька разів дешевше, аніж перевірка у  реальних умовах.

– Фокусуватися на швидкому зворотному зв’язку. Навчання максимально ефективне, коли супроводжується негайним зворотним зв’язком. Те саме актуально й для експериментування.

– Збільшувати потужність експериментування. Часто додавання 5% ресурсу або зворотного  зв’язку дозволяє інноваційному процесу прискоритися на 50%.

– Проводити паралельні експерименти. Провідні онлайн-компанії виконують сотні експериментів одночасно, наприклад, LinkedIn – між 500 і 1000, залежно від моменту. Booking.com проводить більше тисячі паралельних експериментів на своїх сайтах, серверах і в додатках щодня. Однак потрібно усвідомлювати й недолік одночасних експериментів: вони не дають можливості вчитися між ітераціями. Тому компанії потрібно усвідомлювати, що для неї важливіше, швидкість (паралельні експерименти дозволяють прийти до результату скоріше) або повніше навчання.

Навчання максимально ефективне, коли супроводжується негайним зворотним зв’язком. Те саме актуально й для експериментування

Навчання максимально ефективне, коли супроводжується негайним зворотним зв’язком. Те саме актуально й для експериментування

Якість експерименту

Компанії роблять чимало помилок у експериментуванні. Наприклад, часто перевірки нових ініціатив проводяться надто неформально, без використання наукових або статистичних методів. Через це отримані дані можна неправильно інтерпретувати та зрештою прийняти неправильне управлінське рішення. Щоб гарантувати якісний експеримент, компанії необхідно знайти відповіді на декілька запитань:

1. Чи є в експерименту гіпотеза, яку можна перевірити? Експеримент варто проводити, лише якщо менеджери чітко розуміють, що вони хочуть дізнатися і як виміряють результат. І навіть у цьому випадку перевірка гіпотези – не єдиний спосіб одержати бажане.

Якість експерименту значною мірою визначається гіпотезою. Якісна гіпотеза часто народжується з клієнтського інсайту (скажімо, на фокус-групі), з аналітики (наприклад, хтось помітив повторюваний паттерн у даних від клієнтської підтримки) або навіть завдяки інтуїції.

Змінні у гіпотезі повинні означати ймовірні причину та наслідок. А перевірка гіпотези повинна здійснюватися під час відтворюваного експерименту. Крім того, повинен  існувати чіткий зв’язок між гіпотезою та її впливом на бізнес. Приклад якісно сформульованої гіпотези: якщо відкривати магазини на годину раніше, це жодним чином не впливатиме на денний продаж.

2. Чи готові експериментатори прийняти результат, яким би він не був? Ще до старту експерименту учасникам потрібно домовитися, що за будь-якого результату вони візьмуть до уваги отримані дані. Навіть якщо це означатиме відмову від проєкту, який здавався перспективним.

3. Чи можливо виконати експеримент? Навіть якщо ваша гіпотеза дуже якісна, це не гарантує, що ви зможете її перевірити. Іноді середовище, в якому існує компанія, настільки мінливе, що у ньому практично неможливо встановити причинно-наслідкові зв’язки між змінними.

4. Як ми перевіримо, що результатам можна довіряти? Існують спеціальні методи, які можуть підвищити надійність результатів. Наприклад, рандомізація та сліпе тестування. Також збір великих даних та якісно проведений їх аналіз підвищують імовірність одержати висновки, що відповідають дійсності.

5. Чи розуміємо ми, що є причиною, а що наслідком? Встановити кореляцію – недостатньо, щоб зробити правильний висновок. Іноді у двох змінних, між якими виявлена кореляція, є одна спільна причина. А іноді кореляція – це просто випадковість.

Провести експеримент – це лише зробити перший крок. Основна цінність виникає пізніше, коли ми аналізуємо отримані дані та використовуємо їх

Провести експеримент – це лише зробити перший крок. Основна цінність виникає пізніше, коли ми аналізуємо отримані дані та використовуємо їх

6. Чи отримали ми максимальну цінність від експерименту? Щоб у цьому переконатися, потрібно розглянути, як результати експерименту (тобто впровадження інновації, яка тестується) можуть вплинути на клієнтів та ринок. Багато компаній виявляють, що провести експеримент – це лише зробити перший крок. Основна цінність виникає пізніше, коли ми аналізуємо отримані дані та використовуємо їх. Скажімо, мережа супермаркетів Publix у минулому витрачала 80% часу, відведеного на експеримент, на збір даних і лише 20% – на їх аналіз. А зараз працює над тим, щоб перевернути цю пропорцію.

7. Чи дійсно ми враховуємо експерименти у прийнятті рішень? Зрозуміло, що не всі управлінські рішення повинні базуватися на результатах експериментів. Але якщо те, що могло бути перевірено, уже перевірено, то це обов’язково повинні використовувати менеджери. Саме так діє Netflix: вона створила складну інфраструктуру для масштабного експериментування та аналізує отримані дані, перш ніж ухвалювати рішення.

Культурне питання

Для успішних інновацій компанії необхідно вибудувати культуру, яка цінує масштабне експериментування навіть в умовах жорстко обмеженого бюджету. Необхідні команди, які будуть постійно ставити собі питання: «А що, як?» Без цього навіть найпросунутіша система й найдорожчі інструменти не забезпечать якісного результату експериментування.

Така культура повинна мати декілька атрибутів, проміж них мислення, орієнтоване на навчання. Навіть у компаніях, подібних до Google, успіхом закінчуються тільки 10–20% онлайн-експериментів, але це не розглядається як катастрофа. Ранні невдачі – це позитивне, навіть необхідне, явище. Зрештою, найчастіше низький відсоток невдач свідчить лише про те, що працівники бояться ризикувати та усіляко чинять опір новому. Невдача в експерименті зовсім не означає, що ви зробили помилку, тому що помилка – це те, що не дає корисної інформації або дає її замало.

Ще однією важливою частиною подібної культури є ставлення до сюрпризів. Там, де їх цінують, поважають креативність і допитливість. Якщо працівники  шукають сюрпризів – як у вигляді вихідної точки, так і у вигляді результату експериментів, – компанія отримує велику перевагу.

Для вибудовування культури експериментування в організації необхідна підтримка лідера-керівника. Недостатньо доручити це групі ентузіастів або якомусь окремому департаменту: так нічого не вийде. Найвищому керівництву доведеться очолити та підтримати новий напрямок: не лише поставити завдання та подбати про налаштування відповідних систем та  інструментів, але й самому стати носієм культури експериментування. І хоча це може вимагати чималих зусиль, Томке впевнений: за бізнес-експериментуванням – майбутнє.

Джерело: Digest, спільний проєкт kmbs та Kyivstar