Если вы находитесь на рынке технологий, основанных на искусственном интеллекте, убедитесь, что у вас есть полезная петля обратной связи.

Редко потребители алгоритмов покупают их напрямую. Они существуют, упакованы в платформы и программное обеспечение, продаваемые как эффективные решения ряда организационных проблем. На самом деле нам нужны эти исправления.

Если верить их маркетинговой копии, все они предлагают одно и то же исправление с одинаковыми результатами. Но изучение одного критического элемента алгоритмов машинного обучения (МО) показывает, насколько сильно они могут отличаться: является ли модель статической или динамической?

Цикл обратной связи

Может показаться удивительным, что алгоритмы могут обучаться и изменяться со временем — как в случае с динамическим или обновляемым машинным обучением. Или, возможно, указание на «обучение» в машинном обучении означало, что вы предполагали, что эти инструменты всегда учатся и меняются. Для статического машинного обучения это предположение неверно.

Динамическое машинное обучение использует обновление циклов обратной связи, позволяя модели изменяться и адаптироваться по мере обработки все большего количества данных. Как и люди, модель выигрывает от непрерывного обучения — наблюдения за последующими результатами и уточнения того, как она принимает решения.

Статическое машинное обучение, с другой стороны, так и звучит: после внедрения оно остается неизменным, неадаптируемым. Статические модели проблематичны, но распространены, особенно в программном обеспечении, продаваемом конечным пользователям, которым не хватает ресурсов или данных о результатах для управления динамическими моделями машинного обучения. Хотя статическое машинное обучение может показаться заманчивым из-за простоты интеграции, оно снижает потенциал технологии с поддержкой ИИ:более эффективные решения и лучшие результаты.

Больше данных

Давайте рассмотрим реальный пример из нашего исследовательского портфолио. Растущее количество алгоритмических «исправлений» помогает рекрутерам, перегруженным соискателями. Алгоритмы машинного обучения (ML) быстро просеивают и проверяют сотни кандидатов, а затем рекомендуют претендентов вверху для проверки человеком.

Эти алгоритмы машинного обучения, предназначенные для проверки кандидатов на работу, могут полагаться на исходные данные от внешнего поставщика, полученные с таких крупных платформ, как LinkedIn или ZipRecruiter. Эти объемные наборы данных могут выявить такие закономерности, как:

  • общие характеристики среди финансовых аналитиков начального уровня
  • полномочия для маркетологов среднего звена
  • черты заведующего складом

Для этих внешних наборов данных стоит констатировать очевидное: Поставщик программного обеспечения или платформы знает о том, кто преуспевает в вашей компании, не больше, чем ваши рекрутеры и менеджеры. У них может быть больше информации о роли в крупной компании. масштаб, но каждая компания уникальна. Общие тенденции не будут идеально соответствовать вашей рабочей силе.

Другой способ обучения модели может быть основан на внутренних наборах данных, полученных из прошлых интервью компании, найма, продвижения по службе и т. д. Это распространено среди крупных компаний, обрабатывающих большое количество приложений.

Если вы пользуетесь услугами внешнего поставщика, вы можете подумать: «всех этих данных из LinkedIn должно быть достаточно». Или, если вы являетесь рекрутером в крупной компании, вы можете подумать, что вашего набора данных о найме за последние 5 лет достаточно, чтобы ваше программное обеспечение «изучило основы».

Но… Если эта технология не будет продолжать получать отзывы о своих решениях, алгоритм будет ослаблен из-за ограниченных данныхи из-за ограниченного контекста. Каждая дополнительная точка данных может помочь алгоритму определить нюансы и тенденции, характерные для ваших процессов найма, структур управления и корпоративной культуры. Чтобы эти дополнительные точки данных имели значение, алгоритмам нужны динамические петли обратной связи.

Ваши данные

Циклы обратной связи обеспечивают больше, чем просто количество данных; они обеспечивают персонализированный контекст. Персонализация может исходить только из вашей среды данных — вашей отрасли, вашей компании, ваших рекрутеров, ваших рабочих мест. Мы знаем, что рабочая сила быстро меняется. Вот одна из областей, где технологии могут проявить себя: динамические алгоритмы машинного обучения наблюдают, когда происходят эти изменения, а затем адаптируются — и делают это намного быстрее, чем люди, которые преуспевают в привычках и рутине.

Именно здесь могут помочь специально разработанные динамические модели машинного обучения.

Удвоив наши примеры рабочей силы, скажем, внедряется новая технология на упаковочном заводе. Если раньше лучшие сотрудники часто ходили и проверяли каждую машину вручную (и могли ее починить), то теперь лучшие сотрудники постоянно следят за цифровым экраном и мчатся к областям, требующим внимания, как только система предупреждает их. Соответствующие HR-данные, такие как продвижение по службе и рост лучших сотрудников в рамках новой высокотехнологичной системы, могут быть переданы обратно в алгоритм через цикл динамической обратной связи, гарантируя, что последующие отобранные кандидаты поделятся навыками тех, кто преуспел в новой технологии.

Другой пример, распространенный в крупных компаниях с несколькими офисами: компания меняет свой стиль управления с централизованного на децентрализованный. Меньше удаленных проверок и менее частых, более неформальных личных чатов. Сотрудники, талантливые в организации своих целей и списков дел или преуспевающие в среде небольшой команды, внезапно становятся гораздо более успешными в этой компании по сравнению с их более бюрократичными коллегами, привыкшими к масштабированию. Опять же, соответствующие HR-данные, такие как удержание сотрудников, обзоры производительности и продвижение по службе, могут быть возвращены в модель, чей «рецепт» адаптируется и улучшается.

Статическое и динамическое машинное обучение в отборе кандидатов из списка Fortune 500

Портфолио исследований Learning Collider включает изучение реальных данных о найме из анонимной фирмы из списка Fortune 500. Для обучения и тестирования моделей машинного обучения использовался набор данных за три года, включая стандартную статическую модель и менее распространенную (но, возможно, лучшую) динамическую модель.

Мы видим, что как статические, так и динамические модели превосходят рекрутера по доходности найма. Более важным является значительная разница между статическим и динамическим машинным обучением. Стандартное статическое машинное обучение увеличивает вероятность найма на 15%; динамический ML достигает 25%.

Еще более обнадеживает то, что алгоритм обновления лучше справляется с предвзятостью, связанной с человеческим фактором в процессе найма. При отборе чернокожих и латиноамериканских кандидатов статическое машинное обучение работает ужасно на уровне 2%, что является прямым результатом начальных данных обучения модели. Когда фирма исторически не проводила собеседования и не нанимала недостаточно представленных кандидатов, статические модели систематизируют и увековечивают эти решения. Однако динамическая модель приводит к 23% опрошенных чернокожих и латиноамериканцев. Точно так же динамическая модель отбирает для собеседования больше женщин, чем статические рекрутеры и рекрутеры.

Почему значительные пробелы в одном наборе данных? Одна из причин заключается в том, что динамическая модель может постоянно учиться, адаптироваться и совершенствоваться с помощью обновленных циклов обратной связи.

Заключение

Критическая потребность в динамических моделях машинного обучения не является специфической для технологий найма и рабочей силы. Преимущества обновления алгоритмов и их взаимосвязь с алгоритмической справедливостью можно найти в любой области, которая включает «скоринг» любого типа: скоринг заемщиков FinTech; заявки наймодателя в жилье; или механизмы прогнозирования в образовании, такие как программы рекомендаций курсов или системы раннего предупреждения.

Статические модели машинного обучения заманчивы для конечных пользователей. Внедрение любой новой технологии может нарушить весь рабочий процесс даже без дополнительного обслуживания и мониторинга обратной связи, необходимых при обновлении технологий. Модели динамического машинного обучения действительно более сложны и требуют другого уровня участия для обмена данными или более глубокого внедрения технологии в существующие системы.

Здесь нам нужно понять, как долгосрочные выгоды намного перевешивают краткосрочные затраты. Технологии с искусственным интеллектом имеют многообещающие перспективы, но когда они разработаны как статичные, мы далеки от того, чтобы использовать их способность меняться и адаптироваться к нашим обстоятельствам.

Обучающий коллайдер использует технологические платформы для прикладных исследований, чтобы оказывать социальное воздействие в таких областях, как образование, рабочая сила и жилье. Следите за нами здесь, на Medium, а также в Twitter и LinkedIn, где мы делимся исследовательской информацией и продвигаем наше видение технологий для общего блага.