У чому суть шуму?

Відмінності між когнітивними спотвореннями і шумом Канеман, Сібоні й Санстейн ілюструють таким прикладом. Уявімо, що чотири групи друзів (із п’яти людей кожна) змагаються у стрільбі в тирі. Кожен робить один постріл із однієї і тієї самої рушниці.

В ідеальному світі всі постріли повинні влучити точно в ціль. Приблизно так виглядають результати групи 1. У групі 2 – жодного влучного пострілу, а усі промахи зосереджені у межах вузької ділянки, що знаходиться нижче цілі. Так сталося тому, що всі стрілки виявилися схильними до когнітивного спотворення – брали за основу однакове хибне припущення. Якщо б хтось із них зробив додаткові постріли, передбачити результати було б просто (вони виявилися б приблизно там само, де й попередні).

У групи 3 – один влучний постріл, промахи хаотично розосереджені по усьому простору довкола мішені. Спрогнозувати результати додаткових пострілів неможливо. У цьому випадку ми маємо справу з шумом. Група 4 схильна як до когнітивних спотворень (постріли систематично не є влучними), так і до шуму (промахи хаотичні).

А тепер уявімо, що ми дивимося на результати зі зворотного боку, не бачачи саму мішень. У такій ситуації неможливо сказати, наскільки близькі або далекі постріли груп 1 і 2 від центру мішені. Зате з першого погляду ви зможете визначити, що в групах 3 і 4 присутній шум, а у двох попередніх його немає. У цьому й полягає базова характеристика шуму: ви можете його розпізнати і виміряти, нічого не знаючи ані про мету, ані про когнітивні викривлення, що перешкоджають влученню в ціль.

Часто ми робимо висновки, ґрунтуючись на припущеннях, правильність яких перевірити неможливо. Коли керівники кіностудії аналізують потенціал ринку для нового фільму, ми можемо оцінювати варіабельність їхніх суджень, не знаючи, які каси збирає стрічка (або чи вийшла вона взагалі). Якщо говорити про медицину, то особливо сильний шум є в психіатрії, де суб’єктивне судження дуже важливе. Водночас великий шум присутній і в сферах, де його не повинно бути, наприклад, в інтерпретації рентгенограм.

Прогнозування – ще одна сфера, сумнозвісно відома завдяки сильному шуму. Експерти прогнозують все що завгодно – продаж якогось продукту, рівень безробіття, ймовірність банкрутства компаній, що опинилися в кризових обставинах тощо, водночас не тільки не погоджуючись один із одним, але й із собою. Коли одних і тих самих програмістів двічі у різні дні попросили спрогнозувати терміни завершення проєкту, варіабельність відповідей становила 71%.

Автори стверджують, що присутність шуму неминуча, оскільки ми живемо у складному, непередбачуваному світі. І ця складність проявляється в будь-якій сфері, що вимагає винесення професійних суджень. У прийнятті рішень лікарями, вчителями, юристами, інженерами, керівниками і рекрутерами розбіжності неминучі. Однак їхні думки відрізняються одна від одної набагато сильніше, ніж ми можемо уявити.

Присутність шуму неминуча, оскільки ми живемо у складному, непередбачуваному світі. І ця складність проявляється в будь-якій сфері, що вимагає винесення професійних суджень

Присутність шуму неминуча, оскільки ми живемо у складному, непередбачуваному світі. І ця складність проявляється в будь-якій сфері, що вимагає винесення професійних суджень

Шум у системі

Зайнятися проблемою шуму авторів спонукав наступний епізод. У якості консультантів вони співпрацювали зі страховою компанією, керівники якої розмірковували над тим, як домогтися більшої послідовності у судженнях працівників, які ухвалюють важливі фінансові рішення. Управлінці виходили з того, що подібні судження не можуть бути повністю послідовними, оскільки частково суб’єктивні. Відповідно, певний шум у них буде завжди. Розбіжності виникли, тільки коли питання почало стосуватися сили шуму. Загалом керівники вважали, що шум не може становити для компанії серйозної проблеми. Але водночас погодилися провести простий експеримент, який автори назвали «аудитом шуму».

У кожному з підрозділів компанії працюють декілька висококваліфікованих андерайтерів. Коли виникає необхідність укладення договору з клієнтом, будь-хто з них (хто зараз вільний) може здійснювати оцінку ризиків і визначати суму страхових виплат. В ідеалі вона повинна відповідати «принципу Золотоволоски» – не бути ані завищеною, ані заниженою. Можна припустити, що усереднене судження великої групи професіоналів буде досить близьким до «величини Золотоволоски». Однак якщо сума страхових виплат занадто висока або занадто низька, компанія зазнає збитків.

Якщо в добре керованій страховій компанії методом випадкової вибірки ви призначаєте двох андерайтерів для оцінки ідентичних кейсів – наскільки можуть відрізнятися їхні судження? Коли автори запитали про це керівників страхової компанії, то більшість оцінили рівень варіабельності у 10% або менше.

Пізніше про те саме запитали 828 гендиректорів і топ-менеджерів організацій із різних сфер. І всюди усереднене значення оцінки варіабельності ідентичних професійних суджень становило 10% (друга за частотою відповідь – 15%). Однак проведений авторами аудит шуму виявив набагато глибші відмінності в судженнях – їх рівень становив 55% (це означало, наприклад, що якщо один андерайтер встановлював страхову премію на рівні $9 500, то інший – на рівні $16 700). Один із керівників компанії оцінив її сумарні річні збитки (як від завищеної, так і від заниженої вартості контракту) у сотні мільйонів доларів. Однак ніхто не міг сказати точно, якою має бути «величина Золотоволоски».

Щоб наголосити на ролі випадковості у виборі андерайтера, автори використовують слово «лотерея». Але якщо лотерея в традиційному розумінні слугує певним цілям, то лотерея суджень не несе в собі нічого, крім визначеності. Бо ніхто насправді не знає, що станеться, якщо оцінку кейса проводитиме цей, а не інший фахівець. «Дані вказують на те, що з неприйнятно високим ступенем вартість контракту для клієнта залежала від лотереї, яка визначала, який працівник буде займатися його справою», – пишуть автори.

Базовою відмінністю системного шуму є його небажаність. Не варто плутати його з ситуаціями, коли відмінності в судженнях не просто бажані, а й необхідні (наприклад, декілька компаній конкурують між собою, намагаючись запропонувати оптимальне рішення якоїсь проблеми). Також варто врахувати, що системний шум – це проблема організацій, а не ринків. Якщо трейдери по-різному оцінюють вартість акцій, хтось із них отримує прибуток, а хтось зазнає збитків. Це нормально, оскільки на таких розбіжностях побудований ринок.

Але якщо когось із трейдерів випадково обирають, щоб виконати оцінку вартості акцій від імені компанії, і водночас виявляється, що оцінки, зроблені його колегами, істотно відрізняються від його власної, це означає, що структура страждає від системного шуму. Одна компанія з управління активами, прагнучи визначити справедливу вартість акцій, попросила 42 інвесторів незалежно один від одного провести їх оцінку. Всі вони використовували однакову методологію, але середнє значення рівня шуму в їхніх судженнях становило 41%.

Часто ми починаємо вірити в незаперечність нашої думки лише тому, що вона спирається на те, що спрацьовувало в минулому

Часто ми починаємо вірити в незаперечність нашої думки лише тому, що вона спирається на те, що спрацьовувало в минулому

У «зашумлених» системах помилки, зумовлені варіабельністю суджень, не нівелюють, а посилюють одна одну. «Якщо за вчинення злочину, за який потрібно сім років відсидіти у в’язниці, один обвинувачений отримує чотири роки, а інший – сім, то правосуддя зазвичай не відбувається», – зауважують автори.

Ілюзія згоди

Як так стається, що висококваліфіковані фахівці, які виконують однакові функції й працюють в одній організації, можуть мати з того самого питання настільки різні думки, не усвідомлюючи цього? Одним із пояснень «непомітності» шуму є видимість одностайності, яка присутня в багатьох організаціях. Аудит шуму, який автори проводили в різних компаніях, послідовно вказує на те, що в організаціях підтримується ілюзія згоди. Водночас багатьом людям непросто погодитися із тим, що хтось може мати іншу думку.

Часто ми починаємо вірити в незаперечність нашої думки лише тому, що вона спирається на те, що спрацьовувало в минулому. Одна андеррайтерка, ділячись із авторами своїм досвідом перетворення на «експертку», розповіла: коли вона була фахівцем-початківцем, то в 75% випадків консультувалася зі своїм керівником. Однак із часом відчула, що необхідності в цьому більше немає.

Психологія такої динаміки очевидна: напрацьовується суб’єктивний досвід суджень, які формулюються зі зростаючою легкістю, частково тому, що схожі на судження, які виносилися в аналогічних випадках раніше. Згодом, у міру того як спеціалістка навчилася погоджуватися з «попередньою версією себе», її впевненість у власних висновках зростала. Водночас вона не приділила уваги тому, як після завершення періоду учнівства стала погоджуватися з колегами.

Ілюзія згоди – це потужна завіса, за якою ховається шум. Але чому компанії не намагаються усунути це явище? Одну з головних причин автори бачать у небажанні організацій відчувати дискомфорт, створюваний розбіжностями й конфліктами. Часто втеча від конфлікту є для них так само важливою, як і ухвалення правильного рішення.

Нерідко, намагаючись звести до мінімуму кількість невдалих суджень, компанії проводять «розбори прольотів», де аналізують провальні рішення. Як зазначають автори, це може бути корисним навчальним інструментом, але не підходить для усунення ілюзії згоди. Ідентифікувати погані судження набагато легше, ніж хороші. Якщо помилка дійсно серйозна, фахівці легко сходяться на думці, що вона є істотним відхиленням від професійних норм. Привернення уваги до прорахунків жодним чином не допомагає професіоналам виявити, наскільки сильно вони не погоджуються один із одним, виявляючи зовнішню єдність думок. А значить, це не сприяє усуненню системного шуму.

Шум, створений випадковими обставинами

Спостерігаючи за баскетболістом, який виконує кілька аналогічних кидків, нескладно помітити, що всі вони відрізняються один від одного. Це залежить від багатьох чинників (ступеня втоми гравця, його емоційного стану, підтримки вболівальників тощо). Проте ми ніколи не дізнаємося ступінь значущості кожного з цих чинників. Відповідно, варіабельність кидків є формою шуму. Зміни стану нашого організму очевидні. Однак варіабельність мислення є набагато менш видимою.

Напевно кожен помічав за собою, що думка може змінюватися без надходження нової інформації. Наприклад, переглянутий напередодні фільм змусив нас переживати, а сьогодні здається банальним. Вчора ми засудили вчинки людини, а зараз нам здається, що вона заслуговує на поблажливість. Зміна думки без видимої причини проявляється і в ситуації формування професійних суджень. Так, лікарі нерідко ставлять різні діагнози, якщо їм двічі показують історію хвороби того самого пацієнта. Коли на одному престижному конкурсі вин у США експерти двічі продегустували ті самі напої, то однаково оцінили тільки 18% з них (переважно найгірші). Як баскетболіст ніколи не робить однакових кидків, так і ми не завжди виносимо ідентичні судження, стикаючись із однаковими фактами у двох різних ситуаціях.

У «зашумлених» системах помилки, зумовлені варіабельністю суджень, не нівелюють, а посилюють одна одну

У «зашумлених» системах помилки, зумовлені варіабельністю суджень, не нівелюють, а посилюють одна одну

Процес, коли випадково вибирається андерайтер, лікар або суддя для роботи з якимось кейсом, автори назвали лотереєю. Шум, викликаний випадковими обставинами, є, за їхнім визначенням, продуктом «другої лотереї», яка вибирає момент, коли фахівець формулює свою думку, а також враховує настрій цієї людини, низку попередніх випадків, які свіжі в її пам’яті, а також незліченну кількість інших чинників, що формують конкретний контекст. Якщо в першій лотереї логіку призначення андерайтера простежити можливо, то друга лотерея набагато абстрактніша. В її випадку ми можемо знати тільки те, що якесь судження було вибрано серед величезної кількості варіантів. Іншими словами, створений випадковими обставинами шум є варіабельністю серед невидимих для нас можливостей.

Чи можна контролювати чинник випадковості?

Серед зовнішніх чинників, що впливають на професійні судження (хоча в ідеалі цього не повинно бути), – стрес, настрій, погода. Сонячне світло активізує фондові ринки. Суди можуть виносити суворіші рішення, коли на вулиці спека. Маючи велику вибірку професійних рішень, аналітики іноді можуть визначити, чи були вони ухвалені під впливом нерелевантних чинників (наприклад, часу доби або температури повітря). Однак, як зауважують автори, не варто сподіватися, оскільки виявити всі небажані зовнішні впливи на судження неможливо. Тому варто сфокусуватися на механізмах мінімізації шуму цього типу.

Психологи, Едвард Вул та Гарольд Пашлер, вирішили двічі поставити різним людям низку запитань, зокрема: «Яка частка аеропортів світу розташована в США?». Респонденти не знали, що їх будуть питати двічі. Гіпотеза вчених полягала у тому, що середнє значення двох відповідей буде точнішим, ніж кожна з них окремо. Отримані дані підтвердили правильність цього припущення. Перша відповідь була ближчою до істини, ніж друга, але найправильніше припущення було середнім значенням двох відповідей.

Вул і Пашлер черпали натхнення у такому явищі, як «мудрість натовпу»: усереднення припущень, зроблених незалежно один від одного різними людьми, зазвичай підвищує точність таких припущень. У 1907 році Френсіс Гальтон, двоюрідний брат Чарльза Дарвіна, провів експеримент: попросив 787 селян, які беруть участь у ярмарку, оцінити вагу призового бика. Відповіді були далекі від істини, але їхнє середнє значення відрізнялося від правильного лише на 2 кг. Тобто натовп продемонстрував мудрість: у судженнях був присутній шум, але не було когнітивних спотворень.

Далі вчені вирішили з’ясувати, чи можна отримати «ефект натовпу», якщо з певним інтервалом (у цьому випадку – три тижні) поставити однакові запитання одним і тим самим людям та усереднивши отримані значення. Виявилося, що так. Це явище Вул і Пашлер назвали «натовпом усередині». Німецькі дослідники Штефан Герцог і Ральф Гертвіг провели аналогічний експеримент, але замість того, щоб просто ще раз запитувати про одне й те саме, вони стимулювали людей зробити припущення, яке б відрізнялося від першого. Для цього респонденти повинні були активно осмислити невраховану в перший раз інформацію.

Завдання для учасників експерименту було таким: «Виходьте з того, що ваша перша інформація була неправильною. Далі подумайте про те, чому це сталося. Які припущення могли бути неправильними? Чому це сталося? Що випливає з ваших нових припущень? Перше припущення було завищеним або заниженим? Ґрунтуючись на новій, альтернативній перспективі, зробіть нове припущення».

Оскільки в другому випадку досліджувані були змушені подивитися на питання під іншим кутом, два представники «натовпу всередині» віддалилися один від одного ще більше, ніж в експерименті Вула і Пашлера; зрештою, усереднене значення їхніх відповідей було ще ближчим до істини.

Як баскетболіст ніколи не робить однакових кидків, так і ми не завжди виносимо ідентичні судження, стикаючись із однаковими фактами у двох різних ситуаціях

Як баскетболіст ніколи не робить однакових кидків, так і ми не завжди виносимо ідентичні судження, стикаючись із однаковими фактами у двох різних ситуаціях

Як групи посилюють шум

У контексті ухвалення групових рішень проблема шуму посилюється ще більше, адже напрям руху групи ще значніше може визначатися чинниками, які повинні бути нерелевантними.

Одне масштабне дослідження рейтингів поп-музики засвідчило, що загалом підсумковий успіх певної пісні залежить від ступеня її початкової популярності. Якщо в перші дні сплеску популярності не відбувається, то твір, незалежно від своїх художніх властивостей, швидше за все, місця серед «найкращих» не займе. Те саме проявляється в зовсім інших ситуаціях.

Якщо думка якогось члена групи спочатку отримує схвалення, інші люди, що належать до команди, отримують потужний стимул діяти так само. За словами авторів, якщо групи стають на бік деяких товарів, рухів, постатей, ідей, – це може відбуватися не через переваги предмета обговорення, а тому що виникає чинник «ранніх рейтингів».

Варто врахувати, що ефект «мудрості натовпу» спрацьовує в ситуації, коли судження виносять незалежні один від одного люди. А в організаціях є дуже виражений чинник соціального впливу або навіть тиску. Також автори нагадують про те, що «не всі натовпи мудрі», вони можуть бути прихильниками тиранів, підживлювати ринкові «бульбашки», або розділяти певні ілюзії.

Деякі відмінності між членами групи можуть стимулювати її твердо сказати «так», а їхня повна гомогенність – стати причиною безкомпромісного «ні». Тобто з урахуванням динаміки взаємодії в групі, рівень шуму в ній може бути дуже високим. «Незалежно від того, чи ми говоримо про шум, присутній у низці схожих груп, чи про шум усередині однієї групи – будь-які однозначні судження з важливих питань варто розглядати лише як варіант серед величезної кількості можливостей», – наголошують Канеман, Сібоні та Санстейн.

Шум в управлінні

«Якщо є судження, то у ньому завжди буде присутній шум», – зауважують автори. А це означає, що так чи інакше шум присутній у кожному аспекті управління організацією. І що вища суб’єктивна складова, то його більше. Великі нарікання щодо цього викликають системи оцінювання персоналу.

Дослідження демонструють, що в атестаційних процесах присутні усі види шуму, зокрема й шум, пов’язаний із випадковими обставинами (настрій менеджера). Відмінності в оцінках приблизно на 30% обумовлюються варіабельністю продуктивності працівників, а на 70% – варіабельністю суджень менеджерів.

Ідентифікувати погані судження набагато легше, ніж хороші. Якщо помилка дійсно серйозна, фахівці легко сходяться на думці, що вона є істотним відхиленням від професійних норм

Ідентифікувати погані судження набагато легше, ніж хороші. Якщо помилка дійсно серйозна, фахівці легко сходяться на думці, що вона є істотним відхиленням від професійних норм

Зв’язок між продуктивністю праці та оцінкою є слабким або, у найкращому випадку, невизначеним. Інструменти, що ґрунтуються на зворотному зв’язку, теж не виправдовують очікувань. Зокрема, тому що отримати стабільно якісний зворотний зв’язок практично нереально. З комп’ютеризацією набувають поширення деталізовані опитувальники, які автори називають не просто марними через їхню складність, але й шкідливими. Оскільки, як зазначалося вище, чітко виражений позитивний або негативний рейтинг перших запитань може задати відповідний тон відповідям на інші.

Автори вважають, що теоретично способом розв’язання проблеми може бути метод, схожий на підхід Джека Велча з General Electric: поділ персоналу за результатами атестації на три категорії. Метод «примусового ранжування» хоча і розкритикований багатьма, проте здатен мінімізувати шум.

Канеман, Сібоні та Санстейн наголошують, що особисті цінності, творчий потенціал, індивідуальність можуть бути необхідними для ухвалення рішень (у виборі цілей, виробленні варіантів реагування тощо), але коли справа стосується винесення суджень, особливості людей стають джерелом шуму. Радикальним розв’язанням цієї проблеми можуть стати алгоритми. Але, як вважають автори, поки що алгоритми не здатні замінити людське судження, хоча й можуть стати одним зі способів його вдосконалення.

Джерело: Digest, спільний проєкт Kyivstar та kmbs