Решения на основе данных: что может пойти не так?

Представьте, что вы ведете собрание по поводу почасовой оплаты труда сотрудников вашего склада. В течение нескольких лет она автоматически увеличивалась небольшими суммами, чтобы идти в ногу с инфляцией. Ссылаясь на исследование крупной компании, в котором было показано, что более высокая оплата труда улучшила производительность настолько, что увеличила прибыль, кто-то из вашей команды предлагает другой подход: значительное повышение на 2 доллара в час для всех работников склада. Как бы вы поступили?

Слишком часто бизнес-лидеры выбирают один из двух путей в таких ситуациях: либо принимают представленные доказательства как истину в последней инстанции, либо полностью их отбрасывают. Оба подхода ошибочны. Лидеры должны организовывать обсуждения, которые вдумчиво оценивают представленную информацию и её применимость к конкретной ситуации.

В описанном выше сценарии вам следует задать ряд вопросов, направленных на оценку потенциального влияния повышения заработной платы на вашу компанию. Например, можно спросить:

• Можете рассказать больше о контексте исследования, чтобы помочь нам оценить, применимо ли оно к нашим складским сотрудникам?
• Как наши заработные платы соотносятся с заработными платами других работодателей, конкурирующих за наших работников, и как это сопоставимо с исследованием?
• Проводился ли эксперимент? Если нет, какой подход использовался, чтобы понять, что именно повышение заработной платы стимулировало рост производительности, а не просто отражало его?
• Какие меры производительности использовались, и как долго измерялись эффекты?
• Какие еще анализы или данные могут быть полезны?

Важно учитывать тон: эти вопросы должны быть заданы с подлинным духом любознательности, с желанием учиться и получать обоснованные рекомендации.

Независимо от того, поступают ли данные из внешнего исследования или из внутренних источников, важно тщательно рассмотреть их, прежде чем принимать важные решения. Взаимодействуя с компаниями, в том числе с фирмами, активно использующими данные, мы заметили, что эта практика не всегда последовательно соблюдается. Слишком часто дискуссии доминируют предвзятые убеждения, проблематичные сравнения и групповое мышление. Исследования в области психологии и экономики показывают, что предвзятости, такие как игнорирование базовых показателей (тенденция не учитывать общую статистическую информацию в пользу конкретных примеров или анекдотов) и предвзятость подтверждения (склонность искать и переоценивать результаты, которые поддерживают уже существующие убеждения), также мешают систематическому взвешиванию доказательств. Однако компании не обязаны следовать этому паттерну. Основываясь на нашем исследовании, работе с компаниями и опыте преподавания (включая курсы для руководителей по лидерству и бизнес-аналитике, а также недавний курс MBA под названием «Лидерство на основе данных»), мы разработали подход, который могут применять генеральные менеджеры для обсуждения данных, чтобы принимать более обоснованные решения.

Проверка связи между причиной и следствием

Увеличит ли реклама в поисковых системах продажи? Снизит ли разрешение на удаленную работу текучесть кадров? Эти вопросы касаются причинно-следственной связи — и именно такие вопросы помогает решать аналитика данных. На самом деле, исследования уже детально рассмотрели эти вопросы. Однако менеджеры часто неправильно интерпретируют результаты этих и других исследований, пытаясь применить их к своей бизнес-ситуации. При принятии решений менеджерам следует учитывать внутреннюю валидность — насколько точно анализ отвечает на вопрос в контексте, в котором он был изучен. Также следует учитывать внешнюю валидность — насколько можно обобщать результаты с одного контекста на другой. Это поможет избежать пяти распространенных ошибок.

1. Смешение причинности и корреляции

Несмотря на то, что большинство людей знает, что корреляция не равна причинности, эта ошибка по-прежнему встречается довольно часто. Возьмем, к примеру, рекламную стратегию eBay. На протяжении нескольких лет компания рекламировалась в поисковых системах, таких как Google, чтобы увеличить спрос, привлекая больше клиентов. Консалтинговый отчет заключил, что реклама была эффективной, указывая на то, что когда в каком-то регионе показывалось больше рекламы, общая стоимость покупок на eBay была выше. Увы, этот вывод о пользе рекламы оказался неверным. С помощью эксперимента, проведенного командой экономистов во главе со Стивеном Таделисом из Калифорнийского университета в Беркли, eBay выяснила, что корреляция объяснялась тем, что реклама была нацелена на людей, которые уже с высокой вероятностью посетили бы eBay, а также на рынки, где спрос на eBay, вероятно, увеличился бы даже без рекламы.

Чтобы понять причинно-следственную связь, важно углубиться в то, как было проведено исследование. Например, было ли это рандомизированное контролируемое испытание, в котором исследователи случайным образом распределяли людей на две группы: одну, подвергшуюся тестовому воздействию, и контрольную группу, которая этого воздействия не испытала? Это часто считается золотым стандартом для оценки причинно-следственной связи, хотя такие эксперименты не всегда осуществимы или практичны. Возможно, исследователи полагались на естественный эксперимент, наблюдая за эффектами какого-либо события или изменения политики на определенные группы. Например, исследование могло анализировать влияние льготы, получатели которой выбирались посредством лотереи, что позволяло исследователям сравнивать изменения в обстоятельствах или поведении тех, кто выиграл в лотерею, с теми, кто не выиграл.

Исследователи, не имеющие доступа к запланированным или естественным экспериментам, могут вместо этого контролировать потенциальные мешающие факторы — переменные, влияющие на интересующую переменную — в своем анализе данных, хотя на практике это может быть сложно. Например, если вы оцениваете влияние учебной программы на производительность, вам необходимо убедиться, что вы контролируете предыдущий опыт и другие факторы, которые могут влиять на производительность.

2. Недооценка важности размера выборки

Представьте себе две больницы: одну большую, где ежегодно проходят тысячи родов, и одну маленькую, где ежегодно рождаются несколько сотен детей. В какой из больниц, по вашему мнению, будет больше дней, когда более 60% новорожденных — мальчики?

Ответ — в маленькой больнице, так как там больше вариабельности в количестве родов за день. Небольшие выборки чаще демонстрируют значительные колебания. Психологи Даниэль Канеман и Амос Тверски в своем каноническом труде о предубеждениях и эвристиках обнаружили, что большинство людей ошибались с ответом, причем более половины отвечали «примерно одинаково». Люди склонны недооценивать влияние размера выборки на точность оценки. Эта распространенная ошибка может привести к неверным решениям. Независимо от того, пытаетесь ли вы понять, насколько доверять отзывам в интернете, как интерпретировать тренды производительности или насколько доверять результатам рекламного эксперимента, важно учитывать размер выборки.

При оценке эффектов полезно задавать вопросы не только о размере выборки, но и о доверительном интервале. Доверительный интервал предоставляет диапазон значений, в который, скорее всего, попадает истинный эффект, и степень уверенности в том, что он находится в этом диапазоне. Ответы на эти вопросы должны формировать разговор о том, какой путь действий следует выбрать.

3. Фокус на неправильных результатах

В своей классической статье 1992 года «The Balanced Scorecard: Measures That Drive Performance» Роберт С. Каплан и Дэвид П. Нортон начали с простого наблюдения: «То, что вы измеряете, — это то, что вы получаете». Хотя их статья предшествует эре современной аналитики, эта идея сегодня более актуальна, чем когда-либо. Эксперименты и предсказательная аналитика часто фокусируются на результатах, которые легко измерить, вместо тех, которые действительно важны для бизнес-лидеров, но сложны или практически невозможны для оценки. В результате метрики результатов часто не охватывают полную картину эффективности операций компании.

Вернемся к примеру с повышением заработной платы. Затраты легко измерить, а рост производительности может быть сложно количественно оценить. Это может привести к тому, что менеджеры сосредотачиваются исключительно на стоимости повышения оплаты труда и не видят потенциальные выгоды. Более широкий анализ должен учитывать подход, аналогичный тому, который использовали экономисты Наталья Эмануэль и Эмма Харрингтон. Они поставили цель понять последствия уровня оплаты труда на складе, установленного крупным онлайн-ритейлером. Исследователи изучили изменения в производительности после повышения заработной платы складских работников в 2019 году и обнаружили, что улучшения в производительности и снижении текучести кадров были настолько значительными, что повышение заработной платы более чем окупилось. Похожие результаты они обнаружили при анализе влияния более высокой оплаты на производительность и текучесть сотрудников службы поддержки.

Также важно убедиться, что изучаемый результат является хорошим прокси для реальной цели организации. Некоторые эксперименты в компании отслеживают результаты всего несколько дней и делают выводы о долгосрочном эффекте. В некоторых вопросах и контекстах такого краткого времени может быть недостаточно. Одна из компаний, которая работает над избеганием этой проблемы, — Amazon: она активно исследует долгосрочные затраты и выгоды возможных изменений продуктов. Существует множество способов оценить релевантность и интерпретацию результатов, начиная с четких обсуждений ограничений и заканчивая формальным анализом связи между краткосрочными и долгосрочными эффектами.

Чтобы действительно учиться на любых данных, нужно задавать основные вопросы, такие как: Какие результаты были измерены, и включили ли мы все, что имеет значение для принимаемого решения? Были ли они достаточно широкими, чтобы охватить ключевые ожидаемые и непреднамеренные последствия? Были ли они отслежены в течение достаточного периода времени?

4. Ошибочная оценка обобщаемости

Возвращаясь к примеру с повышением заработной платы на складе, важный вопрос заключается в том, что результаты одного набора складов значат для другого набора. Кроме того, компания может захотеть понять, как результаты применимы, например, к сотрудникам ресторанов или розничной торговли.

Мы видели, как бизнес-лидеры совершают ошибки в обоих направлениях: либо переоценивая, либо недооценивая обобщаемость результатов. Например, когда старший вице-президент по инженерным вопросам крупной технологической компании рассказал нам о правиле компании не учитывать оценки в университете при найме инженеров, мы спросили о причинах. Он сказал, что Google «доказал, что оценки не имеют значения» — ссылаясь на комментарий одного из руководителей Google, который он где-то прочитал и в котором утверждалось, что нет связи между оценками в учебе и карьерными результатами. При

5. Преувеличение значения конкретного результата

Опора на одно эмпирическое наблюдение без систематического обсуждения его может быть так же неразумна, как и полное игнорирование доказательств, считая их нерелевантными для вашей ситуации. Стоит провести дополнительное исследование по теме. Проведение эксперимента или дальнейший анализ в вашей собственной организации могут быть хорошим вариантом. Вопросы, которые стоит задать: существуют ли другие анализы, подтверждающие результаты и подход? Какие дополнительные данные мы можем собрать, и перевешивает ли польза от их сбора затраты на этот процесс?

Начните с открытого обсуждения

В 1906 году сэр Фрэнсис Гальтон провел известный анализ данных о конкурсе на сельскохозяйственной ярмарке, где люди пытались угадать вес быка. Несмотря на то, что индивидуальные догадки сильно отличались, среднее значение всех предположений было почти точным, что продемонстрировало мудрость толпы. Однако использование этой мудрости может быть сложной задачей. Коллективный интеллект работает лучше всего, когда существуют механизмы для активного и разнообразного участия. В противном случае толпа может усилить предвзятость, особенно когда её взгляды однородны.

Чтобы преодолеть предвзятость, бизнес-лидеры могут пригласить участников с разными точками зрения к обсуждению, попросить их оспаривать идеи и развивать их, а также обеспечить, чтобы обсуждения были глубокими и опирались на качественные данные. (См. статью «What You Don’t Know About Making Decisions» Дэвида А. Гарвина и Майкла Роберто, HBR, сентябрь 2001 года.) Поощрение инакомыслия и конструктивной критики может помочь бороться с групповым мышлением, облегчить предвидение непредвиденных последствий и помочь командам избежать излишнего влияния мнения руководителей. Лидерам также необходимо мотивировать людей учитывать влияние решений на различных заинтересованных сторон и сознательно выходить за пределы узких взглядов.

Такие обсуждения могут помочь обеспечить вдумчивое взвешивание доказательств. Но слишком часто они сходят с рельсов, даже когда могут быть продуктивными. Бесчисленные исследования показывают, что иерархии могут заставлять людей воздерживаться от выражения несогласных точек зрения, а участники дискуссий склонны не делиться потенциально важными данными или не задавать критические вопросы, если они не чувствуют психологической безопасности — веры в то, что откровенность ожидаема и не будет наказана. Без психологической безопасности описанный нами подход вряд ли будет работать.

Команды выигрывают, когда их члены чувствуют, что предоставление данных, идей, опасений и альтернативных взглядов будет оценено их коллегами и менеджерами. Важно, чтобы в рамках многих обсуждений участники воспринимали задавание критических вопросов как часть своей работы.

Много написано о том, как создать психологическую безопасность в команде. (См. статью «Why Employees Are Afraid to Speak» Джеймса Р. Детерта и Эми К. Эдмондсон, HBR, май 2007 года.) Однако особенно важно установить её в команде, которая стремится использовать доказательства для принятия бизнес-решений, чтобы страх выдвинуть непопулярные выводы не заставлял членов команды упускать критически важные данные.

Пугающий эффект низкой психологической безопасности был очевиден в ответ на экспериментальное исследование Facebook, в котором изучалось, влияет ли демонстрация более позитивных или негативных постов на эмоции пользователей. В 2014 году, после общественной реакции на исследование — отчасти потому, что люди не знали, что Facebook проводит такие эксперименты — генеральный директор Марк Цукерберг прекратил текущие внешние исследовательские проекты. Это удержало сотрудников от проведения экспериментов, которые могли бы проактивно исследовать социальное воздействие Facebook. В последние годы Цукерберг изменил курс и выразил возобновленный интерес к внешним исследованиям. Однако если бы он создал атмосферу, в которой руководители Facebook могли бы вдумчиво обсуждать негативные последствия социальных сетей десятилетие назад, компания могла бы избежать некоторых недавних репутационных проблем, связанных с дезинформацией и её влиянием на благополучие пользователей.

От данных к решениям

Принятие решений в условиях неопределенности неизбежно итеративно; оно требует регулярных пауз для осмысления как информации, так и процесса. Эффективные команды будут учиться на данных, корректировать планы и целенаправленно работать над улучшением своих обсуждений.

Выделение времени на обсуждение нюансов анализа — включая размер и состав выборки, измеряемые результаты, подход к разделению причинности и корреляции, а также степень, в которой результаты могут быть обобщены на другой контекст — жизненно важно для понимания того, может ли, и как именно, доказательство повлиять на конкретное решение. При внимательном рассмотрении каждое эмпирическое наблюдение представляет собой часть головоломки, помогая компаниям понять, когда и какие изменения, вероятно, принесут эффект. Такие обсуждения также создадут основу для более строгого подхода к сбору данных в организациях.

Даже в самом лучшем случае доказательства редко бывают окончательными, и как будет развиваться бизнес-ход, неизвестно. Однако вы можете стремиться к тому, чтобы принимать продуманные решения, основываясь на имеющейся или потенциальной информации. Используя систематический подход к её сбору, анализу и интерпретации, вы сможете более эффективно использовать растущую гору внутренних и внешних данных и принимать более обоснованные решения.

Перевод статьи Where Data-Driven Decision-Making Can Go Wrong, Michael Luca and Amy C. Edmondson, от 12.10.2024