Два примера слабых мест значений SHAP и обзор возможных решений

Значения SHAP, по-видимому, устраняют компромисс между сложностью моделей машинного обучения и сложностью интерпретации, побуждая исследователей и специалистов по данным разрабатывать алгоритмы, не беспокоясь о том, как понимать прогноз, выдаваемый любым черным ящиком. Но всегда ли ШАП может объяснить все свойства?

В этом посте мы хотели бы обсудить одно важное слабое место значений SHAP, проиллюстрировав несколько примеров. Также вскоре будет представлен обзор возможных решений.

Значения SHAP и его ограничение

Значения SHAP, основанные на теории кооперативных игр, количественно определяют взаимодействия между функциями, которые приводят к прогнозу, путем справедливого распределения «выплаты» между функциями.

Однако Фрай и соавт. [1] утверждают, что значения SHAP страдают существенным ограничением, заключающимся в игнорировании всех причинно-следственных структур в данных. Точнее, такая структура ставит все функции в равное положение в объяснении модели, требуя, чтобы атрибуции были равномерно распределены по одинаково информативным функциям.

Например, рассмотрим модель, принимающую в качестве входных данных трудовой стаж и зарплату и предсказывающую, сможет ли человек получить ссуду в своем банке. Изображение, которое оценивает SHAP, говорит о том, что и его стаж, и зарплата имеют большие значения SHAP, что способствует его успеху в подаче заявления. Однако его заработная плата является результатом его трудового стажа, и в данном случае нет оснований присваивать его зарплате большое значение SHAP при наличии его трудового стажа.

Отсутствие причинно-следственной структуры в рамках значений SHAP может быть серьезным, приводя к ложным решениям в некоторых случаях использования, рассматривая возможность улучшения функции с большими значениями SHAP, в то время как такие значения могут быть только эффектом других функций. Вернемся к примеру с кредитом. Изображение SHAP говорит человеку, что вы не можете получить кредит из-за вашей низкой зарплаты, и он соблазняет вас сменить работу с более высокой зарплатой. Однако заявка все равно может быть отклонена, потому что новая работа приведет к меньшему трудовому стажу.

В следующих разделах мы предоставим несколько более подробных примеров.

Пример изображения панды

В этом разделе рассматривается пример предварительно обученной модели глубокого обучения для классификации изображений Inception V1 с 1001 меткой класса, включая гигантскую панду, древесную лягушку и т. д., доступную на концентраторе TensorFlow. Подробная реализация представлена ​​в блокноте.

В следующем эксперименте рассматривается следующий набор, содержащий 5 изображений гигантских панд, каждое из которых предварительно обработано как массив размером (500 500,3) в диапазоне от 0 до 255, и мы хотели бы вычислить значения SHAP первых третьих вероятных классов изображений. дается моделью Inception V1, чтобы понять, какие пиксели вносят больший вклад в окончательные результаты классификации.

Для этой цели мы пишем следующие строки кода:

Первые две строки ничего не делают, кроме масштабирования массива изображений для адаптации входных данных модели. Мы используем маскировщик того же размера, что и входное изображение, в качестве фона для расчета значений SHAP. Функция image_plot дает наглядную иллюстрацию результатов:

Присмотревшись к результатам, особенно к двум последним изображениям, мы сразу заметили, что есть пиксели вне тел панд с большими значениями SHAP, т.е. там, где мы отметили кружок:

Такая атрибуция может иметь прямое объяснение: заметив, что эти пиксели образуют бамбук, любимый пандами, и мы утверждаем, что их частое существование имеет такое предвзятое значение. Если мы знаем, что существование панд является каузальным предком бамбука, то, конечно, имеет больше смысла приписывать важность бамбука телам панды, в то время как значения SHAP, к сожалению, не могут фиксировать такую ​​важную информацию, предполагая, что все функции независимый.

Возможные решения

Хорошая новость заключается в том, что исследователи уже заметили отсутствие такой причинно-следственной структуры в нынешних рамках значений SHAP. Здесь мы приводим два метода: асимметричные значения SHAP [1] и случайные значения SHAP [2].

Асимметричные значения SHAP (ASV) в основном удаляют свойство симметрии текущей структуры значений SHAP, т. е. вклады двух значений признаков должны быть одинаковыми, если они вносят одинаковый вклад во все возможные коалиции. Напротив, веса, учитывающие причинно-следственную связь признаков в качестве меры вероятности, вводятся при суммировании всех «выигрышей» вместе. Такой дизайн делает упор на объяснения с точки зрения первопричин, а не на объяснения непосредственных причин.

С другой стороны, Heskes et al. [2] отмечают, что «нет необходимости прибегать к асимметричным значениям Шепли для включения причинно-следственных связей», и предлагают структуру причинно-следственных значений SHAP (CSV). Определение имеет не что иное, как включение вмешательства путем определения функции ценности с do-исчислением Перла [3]. Такой дизайн действительно разлагает важность одной функции на две части: прямую и косвенную, и может привести к лучшему принятию решений за счет учета этих двух разных типов влияния на окончательный прогноз.

Я приглашаю читателя следить за моими будущими сообщениями для получения более подробных объяснений и реализации конкретных примеров CSV.

Ссылка

[1] К. Фрай, К. Роуат и И. Фейдж, «Асимметричные значения Шепли: включение причинно-следственных знаний в модельно-независимую объяснимость», Advanced in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems. 2020, NeurIPS 2020, 6–12 декабря 2020 г., виртуально, Х. Ларошель, М. Ранзато, Р. Хадселл, М. Балкан и Х. Лин, ред., 2020 г.

[2] Д. Янцинг, Л. Минорикс и П. Блёбаум, «Количественная оценка релевантности признаков в объяснимом ИИ: причинно-следственная проблема», 23-я Международная конференция по искусственному интеллекту и статистике, AISTATS 2020, 26–28 августа. 2020, Online [Палермо, Сицилия, Италия], сер. Proceedings of Machine Learning Research, S. Chiappa and R. Calandra, Eds., vol. 108.

[3] Основная лекция The Do-Calculus Revisited Judea Pearl, 17 августа 2012 г., конференция UAI-2012, Каталина, Калифорния. https://ftp.cs.ucla.edu/pub/stat_ser/r402.pdf