Насколько хороша предиктивная модель для ваших HR-данных?

HR является критически важной функцией в большинстве предприятий. Вот почему, желание улучшить решения людей вызвало интерес к передовым возможностям машинного обучения и их внедрению.
Для этого организации внедряют инструменты и технологии обработки данных улучшающие бизнес-результаты. Данных все больше, растут возможности для принятия решений на основе данных, что приводит к росту прогностической ценности этих данных.

Каковы недостатки использования машинного обучения?

Прежде всего, у машин не существует этики. Они могут быть запрограммированы так, чтобы эффективно достигать экономически оптимальных результатов. Кажется, что использование машин оправдано для выработки решений в организациях. Однако, машинам не хватает чувства честности или справедливости. Оптимальные экономические результаты не всегда бывают этичны.
Значит, ключевой вопрос, стоящий перед HR при использовании таких технологий — «Как мы можем убедиться в этичности people-решений, которые подсказаны машиной?»
Ответ, очевидно, требует радикальной прозрачности того, как искусственный интеллект (AI) и машинное обучение (ML) используются в процессе принятия решений. Невозможно понять этический аспект предсказания, сделанного машиной, если входные данные и алгоритмы также не будут ясны и понятны. Различия между существующими подходами к машинному обучению оказывают глубокое влияние на этичность результатов, к которым приводят машинные прогнозы. Итак, давайте начнем с понимания некоторых из этих различий.
Рассмотрим тип типа моделей машинного обучения:

• Модели черного ящика
• Фиксированные модели
• Индивидуальные модели

Что такое модель черного ящика?

Модель черного ящика — это такая модель, которая дает предсказания, которые невозможно объяснить. Существуют инструменты, которые помогают пользователям понять модели черного ящика, но эти типы моделей, как правило, чрезвычайно сложны для понимания.
Многие поставщики создают модели черного ящика для клиентов, но не могут или не хотят объяснять свои методы и результаты. Иногда продавцу модели действительно трудно понять свою собственную модель!
Модели черного ящика обучаются на очень больших наборах данных. Такие наборы улучшают эффективность модели. Однако, без прозрачности модели черного ящика трудно доверять. Зависимость от модели, использующей конфиденциальные данные, вызывает беспокойство, когда неизвестны факторы принятия решений этой модели.
Например, чтобы попросить машину определить, есть ли на фотографии кошка в кадре, не требуется большой прозрачности, потому что в этой цели отсутствует этический аспект. Но решения относительно людей часто имеют моральный и этический аспекты. Это означает, что прозрачность модели чрезвычайно важна.
Модели «черного ящика» могут пересекать этические границы, когда речь идет о решениях про людей. Модели, как и люди, могут демонстрировать предвзятость, возникающую из-за ошибок выборки или оценки. Модели также могут использовать входные данные нежелательным образом. Кроме того, выходные данные одной модели часто используются в последующих моделях и решениях. Это, в свою очередь, привносит в решение невидимую систематическую предвзятость.
Естественно, организация ставит под угрозу свою этическую позицию, когда человеческие или машинные предубеждения приводят к нежелательным результатам, например в DEI (Diversity, Equity & Inclusion). Одним из худших возможных результатов является решение, которое является неэтичным или предвзятым. Эти плохие решения могут иметь уже юридические последствия, или, хуже того, глобальные репутационные издержки для компании.

Что такое фиксированная модель?

Термины «фиксированная модель» или «готовая модель» означают модель, которая не была разработана или приспособлена к набору данных конкретного пользователя. Фиксированная модель также может одновременно являться моделью черного ящика в зависимости от того, сколько интеллектуальной собственности готов раскрыть создатель модели. Кроме того, забавно, что первоначальный разработчик может мало что понимать в своей собственной модели.
Фиксированные модели подвержены тем же предубеждениям, что и модели черного ящика. Нерепрезентативные наборы данных могут привести к неэтичным решениям. Даже у хорошего набора данных могут быть особенности, которые приводят к неэтичным решениям. Так что фиксированные модели тоже не лишены недостатков.
Но даже при разумной этической позиции готовые модели могут плохо работать в среде, которая просто не отражает не соответствует той, в которой модель обучалась. Представьте себе готовую модель, в которой работники швейной промышленности сегментированы по инвестициям в обучение и развитие. Модель, обученная на данных Walmart, будет работать плохо, когда ее применяют, например, к решениям для стартапа в сфере моды.
Фиксированные модели могут быть достаточно эффективными, если ваша среда очень похожа на среду обучения модели. Это значит, что модели работают лучше, когда реальные данные схожи с теми, которые были использованы при обучении.

Что такое индивидуальная модель?

Мы приходим к изготовленным на заказ моделям. Индивидуальные модели — это те, которые обучаются на ваших данных. Продукт One AI является примером индивидуального подхода. Он предоставляет специализированные модели, которые лучше всего понимают вашу среду, потому что видели ее раньше. Таким образом, модель One AI может обнаруживать закономерности в ваших данных, чтобы учиться и делать точные прогнозы.
Индивидуальные модели раскрывают уникальные аспекты вашего бизнеса и формируют выводы из этих открытий.
Инженеры ML обычно развертывают самую эффективную модель из доступных. Однако бизнес должен быть уверен, что эти модели соответствуют высоким этическим стандартам и стандартам бизнес-аналитики, ведь оптимальное предсказание может оказаться аморальным, когда речь идет о людях. Таким образом, для пользователей модели, построенной по индивидуальному заказу, прозрачность достигается только с помощью открытых и понятных методов разработки. Даже в случае моделей, созданных по индивидуальному заказу, важно заранее оценить этическое воздействие, которое окажет новая модель.
Модели, изготовленные по индивидуальному заказу, также могут включать в себя некоторые преимущества готовых моделей. Внешние данные могут быть включены в процесс разработки модели. Внешние данные ценны, потому что они могут отражать то, что происходит за пределами вашей организации. Местная безработица — хороший пример потенциально ценного набора внешних данных. Усилия по созданию модели, адаптированной для вашей организации, обеспечат гораздо более высокий уровень понимания, чем просто добавление общей модели поверх ваших данных. Вы получите дополнительную бизнес-аналитику, которая даст понимание того, как ваши данные, а не данные других компаний, связаны с вашими бизнес-результатами.
Информация, полученная в процессе разработки модели, может быть ценной, даже если модель никогда не будет развернута в промышленной эксплуатации. Понимание того, как модель работает с вашими данными, много расскажет Вам о Ваших данных и поможет выбрать тип модели и метод ее построения, которые будут выгодны для ваших бизнес-решений.

Не дайте себя обмануть общими показателями эффективности модели

Заявленная производительность готовой модели может быть обманчивой. Набор данных, на которых измерена эффективность готовой модели, может сильно отличаться от данных в вашей конкретной бизнес-среде. Например, если 5% людей в выборке модели работают удаленно, а у Вас вся компания на удаленке, то влияние и выводы, сделанные моделью об удаленной работе, вряд ли будут хорошо влиять на ваши решения.

Когда следует скептически относиться к показателям производительности модели

Большинство поставщиков готовых моделей не стремятся определять конкретную производительность своей модели на ваших данных из-за присущих ей недостатков, описанных выше. Как же тогда выбрать лучшую модель, отбросив худшую?
Первая причина для скептицизма заключается в том, предлагает ли поставщик модели относительные показатели точности и эффективности. Относительное значение точности является сравнительным, и поэтому отсутствие раскрытия относительной точности должно вызвать подозрение. Специалисты по данным понимают важность измерения эффективности. Они знают, что крайне важно понять точность до использования выходных данных модели. Таким образом, избегая относительной точности, поставщик не может быть прозрачным на 100%.
Вторая причина для скептицизма касается вендоров, которые не могут (или не хотят) объяснить, какие функции используются в их модели и какой вклад каждая функция вносит в прогноз. Очень трудно доверять необъяснимым результатам модели. Это точно несет в себе риски для бизнеса.

Компания One Model опубликовала технический документ со списком вопросов, которые нужно задавать каждому поставщику машинного обучения.

Сосредоточьтесь на относительной точности… и One more thing!

Существуют риски, возникающие при использовании данных без относительной точности. Первый риск для бизнеса заключается в том, что вера в саму модель может уменьшиться. Это означает, что ЛПР не внедрят «обещанные» или «подразумеваемые» результаты работы модели. Конечно, невыполнение этих обещаний подрывает доверие к прогностической модели.
Сами сотрудники, а не только первые лица компании, могут не доверять моделям и возражать против принятых с их помощью решений. Хуже того, сотрудники могут изменить свое поведение таким образом, чтобы обойти модель, чтобы таким образом «доказывать, что модель неверна».
Но потеря доверия со стороны внутренних заинтересованных сторон в компании — это только начало. Юридический, финансовый и операционный риски могут возрасти, если предприятия не соблюдают законы, правила и политики. Поэтому сторонникам машинного обучения следует хорошо знать эти риски и обеспечивать их снижение при внедрении искусственного интеллекта.
Наконец, важно определить, кто ответит за неверные решения, принятые с помощью модели. Назначение ответственного лица может снизить вероятность негативных последствий, таких как предвзятость, незаконность или неосторожность.

Как доверять модели

Визуально привлекательная модель, которая дает «интересные идеи», не обязательно заслуживает доверия. В конце концов, модель, которая однажды привела к ложным выводам, — это полный провал.
В компании One Model считают, что весь контент, созданный на основе выходных данных модели прогнозирования, должен быть связан с показателями эффективности этой модели. Организация не может этично использовать прогностические данные без установления связи между эффективностью и этичностью.
Фиксированные модели и модели черного ящика чрезвычайно сложны для понимания, и еще труднее предсказать, как они реагируют на ваш конкретный набор данных. Иногда эти типы моделей могут быть уместны. Но таких случаев немного, они особенно редки в сфере People аналитики и в функции управления персоналом.
Вместо этого индивидуальные модели предлагают гораздо более высокий уровень прозрачности. В процессе создания модели разработчики и пользователи намного лучше понимают свои собственные данные. Этот процесс называется исследовательским анализом данных, и это чрезвычайно недооцененный аспект области машинного обучения.

В компании One Model потратили много времени — более 5 лет — на создание One AI, чтобы упростить этот процесс. Для всех типов специалистов по персоналу создаются и развертываются этические пользовательские модели на основе своих данных, обеспечивая при этом оценку эффективности модели и объяснимость модели. One AI включает в себя надежную, глубокую функцию отчетности, которая обеспечивает ясность в отношении того, какие данные использовались для обучения моделей. Он сочетает в себе широкие возможности исследования с быстрым созданием и развертыванием новых узлов модели. Результатом является самая прозрачная и этичная возможность машинного обучения на любой платформе HR-аналитики. В One AI нет ничего скрытого или непознаваемого. И именно поэтому вы можете доверять ему.

Искусственный интеллект все еще нуждается в вашем человеческом интеллекте

Модели созданы, чтобы информировать нас о закономерностях в системах. Сообщество HR намерено применить модели к проблемным областям, в которых участвуют люди, работающие внутри организаций. Таким образом, HR-специалисты должны многому научиться с помощью прогностических моделей.
Но неразумно полностью отказываться от человеческого интеллекта в пользу прогностических моделей, которые никто не понимает.
Конечная ценность моделей (и всей People аналитики) заключается в том, чтобы принимать более эффективные, быстрые и обоснованные решения о персонале на всех уровнях организации. Машинное обучение — мощный инструмент, но не решение этой проблемы.

Статья Taylor Clark в блоге компании OneModel 10.10.2022