Дилемма справедливости

Важность контекста, отраслевых знаний и субъективности при реализации «справедливых» алгоритмов

Эта статья представляет собой сжатое изложение моей исследовательской работы в области честного ИИ. В ней рассматривается вопрос "Как разные домены ИИ влияют на обоснование, которое эксперты в предметной области имеют при выборе показателей достоверности ИИ?"Статья представляет собой введение в алгоритмическую дискриминацию, групповые показатели справедливости как потенциальное решение проблемы, а также зависимости от контекста, влияющие на решение о выборе определенных групповых показателей справедливости для удовлетворения справедливости. Кроме того, это подчеркивает сложность поиска точек соприкосновения при определении справедливости.

Проблема алгоритмической дискриминации

Цель машинного обучения (МО) как развивающейся ветви вычислительных алгоритмов состоит в том, чтобы имитировать человеческий интеллект, обучаясь на размеченных данных из реального мира. Поскольку результаты машинного обучения могут варьироваться от классификации до прогнозирования явлений на основе исторических данных, машинное обучение (или искусственный интеллект в целом) может помочь в создании ценности. Хотя эти системы искусственного интеллекта (ИИ) могут быть очень полезными с точки зрения автоматизации, они также вызывают множество этических проблем, таких как проблемы дискриминации и справедливости. Решения о выходе могут систематически предвзято относиться к людям с определенными чувствительными атрибутами, такими как пол, раса и религия. Поскольку приложения ИИ предназначены для автоматизации и могут принимать решения в гораздо большем масштабе, чем люди, модели машинного обучения, которые приводят к результатам, которые систематически предвзято относятся к людям, могут рассматриваться как усиливающие человеческое предубеждение или как «автоматизация предвзятости». Эти предубеждения могут затем привести к дискриминации определенных групп при подаче заявок на кредиты, страхование или возможности трудоустройства.

Показатели справедливости группы

В ответ на решение вышеупомянутых проблем дискриминации большое количество исследований было сосредоточено на алгоритмах «справедливости ИИ». Это относится к вероятностной поддержке принятия решений, которая предотвращает несоизмеримый вред (или выгоду) для разных подгрупп. Цель справедливого ИИ — количественно оценить предвзятость и смягчить дискриминацию в отношении подгрупп. Поскольку эти подгруппы, как правило, формируются вокруг конфиденциальных атрибутов, можно подумать, что исключения этих конфиденциальных атрибутов из обученного набора данных, переданного в модель ML, может быть достаточно для решения проблемы. Однако несколько неконфиденциальных атрибутов могут служить прокси-серверами, и, следовательно, справедливость не может быть решена. В статистике прокси-переменная определяется как переменная, которая поначалу может быть неактуальной или интересной, но из-за ее тесной корреляции с интересующей переменной она может служить вместо ненаблюдаемой или неизмеримой переменной. Например, зарплата может быть косвенным показателем пола, почтовый индекс может быть косвенным показателем этнической принадлежности, а состав семьи может быть косвенным показателем расы или религии. Следовательно, даже если чувствительный атрибут удален, модель ML может использовать один из прокси-серверов и в конечном итоге получить результаты, которые различают, не зная конфиденциальных атрибутов. По этой причине показатели групповой справедливости используются для введения математических ограничений, которые удовлетворяют философским определениям справедливости и в конечном итоге приводят к аналогичным результатам для конкретных людей.

Метрики групповой справедливости используются для пропорционального распределения точности и ошибок моделей бинарной классификации ML между подгруппами, сформированными вокруг чувствительных атрибутов (например, среди мужчин и женщин). Однако эти показатели могут противоречить друг другу, и было доказано, что одновременное использование более одного показателя справедливости группы очень сложно. К популярным показателям групповой справедливости относятся Уравненные шансы, Равные возможности, Статистическая четность, Прогнозируемая четность, Калибровка и Баланс частоты ошибок. Вопрос о том, что считается справедливым, является спорным. Например, компания, разработавшая оценки COMPAS, заявила, что ее система беспристрастна и справедлива, поскольку она удовлетворяет прогнозному паритету, однако ProPublica возражает. утверждал, что система была несправедливой и на самом деле была предвзятой, поскольку она не продемонстрировала баланс частоты ошибок.

Это исследование определяет факторы, влияющие на решение о выборе показателя групповой справедливости в различных областях ИИ, и предоставляет обоснования и аргументы для этого выбора. Результатом стала структура, помогающая лицам, принимающим решения, ориентироваться в оценках справедливости и стимулировать прозрачность в отношениях с заинтересованными сторонами. Было проведено эмпирическое исследование, чтобы проанализировать потенциальные компромиссы метрики справедливости группы в разных областях ИИ и влияние, которое разные области ИИ оказывают на процесс принятия решений о выборе метрики справедливости.

Определение предубеждений и показателей групповой справедливости

Важно сначала понять, как могут проявляться предубеждения, что такое показатели групповой справедливости и как они могут справляться с этими предубеждениями. Приложения ИИ могут вести себя несправедливо по социальным, техническим причинам, а также по совокупности как социальных, так и технических причин. Социальным источником несправедливости (также известной как систематическая ошибка измерения) может быть наличие систематической ошибки в наборе данных, используемом для обучения модели машинного обучения. Эти социальные предубеждения отражают социальную нетерпимость или институциональную дискриминацию. Например, модель машинного обучения может анализировать резюме и использовать многолетний опыт работы в определенной сфере деятельности в качестве решающего фактора для приглашения соискателей на собеседование. Однако предвзятость в отношении того, как работодатели нанимали на вакансии, возможно, в целом затруднила получение женщинами опыта работы в этих областях по сравнению с не менее осведомленными мужчинами. Это называется «вычисление несправедливости» и подчеркивает, как алгоритмы могут использовать факты, искаженные на основе прошлой дискриминации, чтобы оправдать худшее отношение к ним сегодня. Технические источники предвзятости можно увидеть, например, когда имеется мало точек данных о какой-либо группе людей (характеристики данных и проблемы недостаточного представления). Ниже вы можете проверить представление типов вреда, создаваемого приложениями ИИ.

Показатели групповой справедливости были разработаны, чтобы избежать дискриминации в отношении членов защищенной группы. Защищенная группа определяется чувствительными атрибутами, такими как раса, пол или инвалидность. Под дискриминацией понимается то, как ошибки модели предсказания распределяются между защищенными группами и другими группами. Таким образом, понятие показателей групповой справедливости требует, чтобы групповая статистика прогнозов модели ML была одинаковой для всех подгрупп, которые определяются одной или несколькими чувствительными характеристиками. Это исследование посвящено трем показателям справедливости группы: демографическому паритету, равным шансам и балансу числа ошибок.

Демографический паритет

Также называется статистической четностью, требует, чтобы коэффициент выбора был одинаковым для всех подгрупп. Думайте об этом как об установлении квоты для процесса отбора. Например, модель ML одобрения кредита, которая удовлетворяет демографическому паритету, будет распределять одинаковую долю утверждений кредита между (например) иммигрантами и неиммигрантами. Обратите внимание, что это понятие справедливости не зависит от истинной истины (факта о том, имеет ли человек хороший кредитный рейтинг и, следовательно, может ли он действительно погасить кредит). Таким образом, этот показатель следует философской логике равенства результатов, которая требует равного распределения независимо от любых соответствующих критериев.

Уравненные шансы

Эта метрика справедливости группы гарантирует, что прогнозирующая производительность алгоритма одинакова для всех конфиденциальных подгрупп. Для этого требуется, чтобы коэффициент ложных срабатываний и коэффициент истинных срабатываний были одинаковыми для каждой чувствительной группы. Используя тот же пример, что и раньше, ложноположительный показатель относится к доле людей, которым ошибочно был предоставлен кредит (кредит был предоставлен людям, которые не смогут его погасить). Истинная положительная ставка относится к доле людей, которым кредит был предоставлен правильно (кредит был предоставлен людям, которые имеют хороший кредитный рейтинг и, следовательно, смогут его погасить). Этот показатель следует философской логике справедливого равенства возможностей (EOP), которая подчеркивает, что все возможности должны быть открыты для всех людей в зависимости от заслуг. Следовательно, любой человек с одинаковым талантом и целями должен иметь одинаковые шансы на успех.

Баланс частоты ошибок

Эта метрика, также известная как «Баланс» для положительного/отрицательного класса, ставит распределение ошибок в основу процесса принятия решений. Это достигается путем уравновешивания коэффициента ложноположительных результатов и коэффициента ложноотрицательных результатов в чувствительных группах. Например, используя тот же пример модели ОД с одобрением кредита, что и раньше, как иммигранты, так и неиммигранты будут сталкиваться с одинаковыми показателями неправомерного предоставления кредита (который они не могут погасить) и неправомерного отказа в кредите (который они заслужили и могли погасить). Баланс частоты ошибок также следует философской логике справедливого равенства возможностей (EOP).

Что интересно в метриках групповой справедливости, так это то, что каждая из них представляет собой философское понятие справедливости. Существуют разные понятия, и часто бывает так, что эти понятия противоречат друг другу и не могут быть математически удовлетворены одновременно. Таким образом, когда мы сталкиваемся с решением, какую метрику групповой справедливости выбрать для удовлетворения справедливости, мы фактически сталкиваемся с компромиссами философских представлений о справедливости, которые могут варьироваться в зависимости от угла анализа и точки зрения.

Дизайн исследования

Это исследование следует индуктивному подходу с использованием качественного вопросника для подтверждения или опровержения влияющих факторов, влияющих на обоснованность выбора определенных показателей справедливости. Экспертов в области ИИ и лиц, принимающих решения, спросили о компромиссах показателей справедливости и их обоснованиях. Исследование направлено на понимание зависимости явления от контекста и поиск более глубокого понимания того, что заставляет экспертов в предметной области и лиц, принимающих решения, принимать решения об определенных компромиссах показателей справедливости.

Участникам было предложено выбрать показатель справедливости группы из списка трех, чтобы удовлетворить справедливость в трех уникальных сценариях, включающих алгоритмы бинарной классификации. Тремя показателями справедливости были баланс частоты ошибок, демографический паритет и равные шансы. Сценарии включают алгоритм клинических испытаний для выявления смертельной болезни среди субъектов двух разных (неизвестных) этнических групп, алгоритм оценки кредитного риска для прогнозирования финансового права иммигрантов на получение кредита. и не иммигрантов, а также алгоритм таргетинга объявлений о вакансиях STEM для таргетинга на квалифицированных пользователей платформы среди мужчин и женщин.

Выводы

В этом разделе рассматриваются факторы, которые эксперты по ИИ и лица, принимающие решения, считают влияющими на выбор показателя групповой справедливости в трех алгоритмических сценариях.

Сценарий здравоохранения

В этом сценарии мы имеем дело с алгоритмом клинической диагностики, чтобы определить, у кого есть заболевание (среди двух неизвестных этнических групп) и, следовательно, кто должен подвергаться лечению с тяжелыми побочными эффектами.

Большинство респондентов выбрали Баланс частоты ошибок из-за «высокой стоимости ошибки». В этом сценарии легко найти основную истину. Например, при определении злокачественности опухоли мы можем просто провести биопсию указанной опухоли и выяснить, злокачественна она или нет. Потенциально это означает, что мы можем выбрать групповые метрики справедливости, основанные на истине, такие как Баланс частоты ошибок и Выровненные шансы, и игнорировать те, которые не основаны на истине. таких как Демографический паритет из-за его «случайности». Поскольку ставки для обеих ошибок очень высоки, а это означает, что оба типа ошибок очень опасны (не лечить смертельного пациента и лечить здорового пациента), большинство участников проигнорировали Уравненные шансы, которые фокусируются только на одном типе ошибок. ошибка (ложные срабатывания). Однако оптимизация баланса обеих ошибок может быть технически сложной.

Кроме того, люди игнорировали демографический паритет из-за «субъектных различий». Здесь имеется в виду, что естественные и биологические различия между группами могут привести к оправданию неравных базовых показателей. Например, если система выявляет заболевание, связанное с раком молочной железы, то ожидается, что частота его выявления у женщин будет намного выше, чем у мужчин.

Наконец, участники также полностью оспорили предпосылку и предложили не выбирать показатель групповой справедливости в этом сценарии, чтобы «максимизировать цель алгоритма». Это исходит из того, что цель алгоритма — спасти как можно больше жизней. Это может быть достигнуто только в том случае, если будет собрано как можно больше данных от отдельных лиц, которые будут использоваться для обучения алгоритма. Различия между группами пациентов могут возникать, когда люди из одной группы имеют более высокую точность, чем другая группа, потому что включение первой группы является более прогностическим (легче поставить правильный диагноз). Это может быть связано с тем, что у членов этой первой группы могло быть больше времени или мотивации для участия в клинических испытаниях, что привело к получению большего количества данных, или просто по генетическим причинам. В этом случае участники предположили, что любое использование показателей групповой справедливости может наказать выгодную группу, игнорируя эти различия, что приводит к несправедливости и вреду на индивидуальном уровне.

Финансовый сценарий

В этом сценарии мы имеем дело с алгоритмом оценки кредитного риска, чтобы определить, кто из всех соискателей кредита (иммигрантов и не иммигрантов) является кредитоспособным, сможет погасить кредит и, следовательно, должен получить кредит.

Многие респонденты выбрали Демографический паритет, аргументируя это тем, что это единственный показатель, который на самом деле активно учитывает и компенсирует «предвзятость измерения», вызванную обществом. Предпосылка здесь заключается в том, что у иммигрантов могут быть низкие ставки погашения из-за их ограниченного доступа к локальным сетям, ограничений их деловой активности и других факторов. В этом случае основной истине (реальной ставке погашения) нельзя доверять, поэтому выбор показателя справедливости, который не зависит от основной истины, является оправданно правильным для активного устранения несоответствия.

Другие участники проигнорировали демографический паритет из-за «разницы в размере групп» и «экономических последствий». Предпосылка здесь заключается в том, что группа неиммигрантов в большинстве случаев будет намного больше, чем группа иммигрантов. Таким образом, хотя демографический паритет может в равной степени ограничить получение кредита заявителями, гораздо больше заявителей-неиммигрантов будут ограничены в получении кредита (в абсолютных значениях). Это может привести к высоким экономическим издержкам для кредитора, поскольку группа иммигрантов в большинстве случаев будет иметь более высокий уровень ложноположительных результатов.

Как и в случае со здравоохранением, некоторые эксперты по ИИ и лица, принимающие решения, оспаривали предпосылку исследования и предположили, что использование групповых показателей справедливости в этой ситуации «несправедливо по отношению ко всем заинтересованным сторонам». Эти участники считают, что не все расхождения между группами объясняются предвзятостью измерения, и поэтому заставлять банк инвестировать в рискованных людей было бы несправедливо. Кроме того, из рассуждений следует, что если алгоритм станет слишком смещенным в сторону банка, вся система может рухнуть. Это заставляет нас думать о справедливости по-другому. Алгоритм должен учитывать не только заемщиков, но и риск для кредитора.

Маркетинговый сценарий

Маркетинговый сценарий относится к использованию системы, которая определяет (среди мужчин и женщин), кто из пользователей платформы (пользователи веб-сайта/приложения) квалифицированы и заинтересованы в определенных вакансиях STEM и, следовательно, должны быть нацелены на рекламу вакансий STEM.

Из всех сценариев этот показался участникам наиболее простым и понятным. Как и в финансовом сценарии, участники делятся на тех, кто считает, что существует «систематическая ошибка измерения», и тех, кто так не считает. Те, кто считает, что измерения имеют место погрешности, а достоверные данные недоступны, стремятся активно устранять эти погрешности с помощью Демографического паритета.

Те участники, которые считают, что систематическая ошибка измерения отсутствует и, следовательно, любые расхождения в базовой частоте между мужчинами и женщинами можно отнести к индивидуальным характеристикам, считают, что следует использовать баланс частоты ошибок. Причина этого связана с «низкой стоимостью ошибки». Участники с таким мнением утверждали, что стоимость ошибок (ложных срабатываний и ложных отрицательных результатов) не имеет социального значения. Поэтому кажется разумным сбалансировать частоту ошибок поровну между группами.

Практические последствия

Путем регистрации всех типов обоснований и рассуждений, предоставленных экспертами в предметной области при выборе групповых показателей справедливости, была разработана Основа обоснования. Структура предоставляет средства для документирования обоснования решений, когда речь идет о выборе понятий справедливости. Таким образом, лица, принимающие решения, находятся в положении, в котором им легче сообщить о своем выборе, способствуя таким образом прозрачности со всеми заинтересованными сторонами. Это вытекает из того, что если вы сможете логически обосновать свои решения, вы станете более прозрачными. Лица, принимающие решения, могут использовать приведенную ниже таблицу, чтобы изложить свои доводы в пользу выбора показателя групповой справедливости.

Заключение

Ответ на вопрос: "Как разные области ИИ влияют на обоснование, которое эксперты в этой области имеют при выборе показателей справедливости ИИ?"можно резюмировать, подчеркнув, что здравоохранение, финансы , а маркетинговые сценарии привнесли влияющие факторы, которые можно сгруппировать по трем различным уровням: 1) Специфика предметной области, которая охватывает факторы, используемые для обоснования компромиссов на основе конкретных параметров предметной области. (например, «экономическое влияние» — это фактор, относящийся к предметной области, связанный с финансовой областью), 2) конкретный предмет, который охватывает факторы, которые используются для обоснования компромиссов на основе определенных характеристик. непосредственных заинтересованных сторон, затронутых алгоритмом (например, «Естественные биологические различия» — это специфический для субъекта фактор, связанный с непосредственным заинтересованным лицом), и 3) Личные особенности, которые охватывают компромиссные факторы. это можно проследить до субъективных мнений эксперта в предметной области (например, «Низкая цена ошибки» — это личный фактор, связанный с экспертом в предметной области).

Понятно, что не существует единого решения, подходящего для всех, когда речь идет о том, чтобы сделать системы ИИ справедливыми. Ясно то, что контекст играет огромную роль при оценке жизнеспособных решений для достижения справедливости. Когда дело доходит до выбора метрики групповой справедливости, необходимо учитывать технические трудности удовлетворения определенных метрик, влияние, которое каждая из метрик может оказать на всех заинтересованных сторон, участвующих в системе, и конечную цель системы ИИ.