Важность интерпретируемости

Если модель машинного обучения работает хорошо, почему бы нам просто не доверять модели и игнорировать почему она приняла определенное решение? Потому что такие показатели, как точность, F1, Precision, являются неполным описанием большинства реальных задач.

В некоторых случаях нам все равно, почему было принято решение, достаточно знать, что прогностическая эффективность на тестовом наборе данных была хорошей. Но в других случаях знание «ПОЧЕМУ» может помочь нам узнать больше о проблеме, данных и причинах, по которым модель может дать сбой.

Некоторые модели могут не требовать объяснений, потому что они используются в среде с низким уровнем риска, что означает, что ошибка не будет иметь серьезных последствий (например, система рекомендации фильмов) или метод уже тщательно изучен и оценен (например, оптическое распознавание символов).

По умолчанию модели машинного обучения улавливают смещения из обучающих данных.

Разные цели объяснимости в моделях машинного обучения для разных профилей аудитории

Как интерпретировать модель?

Есть модели, которые можно интерпретировать с помощью дизайна, и те, которые можно объяснить с помощью внешних методов. Эту двойственность также можно рассматривать как разницу между интерпретируемыми моделями и методами интерпретируемости моделей. Более широко принята классификация:

  • Прозрачные модели
  • Апостериорная объяснимость

Прозрачные модели — Уровень прозрачности

  • Моделируемостьобозначает способность модели моделировать или обдумывать ее исключительно человеком, поэтому сложность занимает доминирующее место в этом классе. При этом простые, но обширные (т. е. со слишком большим количеством правил) системы, основанные на правилах, не соответствуют этой характеристике, в то время как нейронная сеть с одним персептроном подпадает под нее.
  • Разложимость означает возможность объяснить каждую из частей модели (ввод, параметр и вычисление). Эта характеристика может дать возможность понимать, интерпретировать или объяснять поведение модели.
  • Алгоритмическую прозрачность можно рассматривать по-разному. Он имеет дело со способностью пользователя понимать процесс, которому следует модель для получения любого заданного вывода из своих входных данных.

Прозрачные модели — Пример

  • Линейная/логистическая регрессия
  • Деревья решений
  • K-ближайшие соседи
  • Учащиеся, основанные на правилах
  • Общие аддитивные модели
  • Байесовские модели

Апостериорная объяснимость

Когда модели машинного обучения не соответствуют ни одному из критериев, предъявляемых для объявления их прозрачными, необходимо разработать и применить к модели отдельный метод для объяснения ее решений. Мы можем разделить на два типа:

  1. Методы, не зависящие от модели
    Методы предназначены для их применения к моделям машинного обучения любого типа. И они могут полагаться на упрощение модели, объяснение релевантности функций и визуальное объяснение.
  • Упрощение модели
    Почти все методы, использующие этот подход, основаны на извлечении правил и LIME: локальные интерпретируемые объяснения, не зависящие от модели. » является одним из примеров
  • Объяснение релевантности признаков
    Он работает путем ранжирования или измерения влияния, релевантности или важности каждого признака в прогнозируемых результатах модели. быть объяснено, напр. SHAP (аддитивные объяснения Шепли)
  • Визуальное объяснение
    Визуальное объяснение менее распространено в области методов, не зависящих от модели, для апостериорной объяснимости. Поскольку структура этих методов должна гарантировать, что их можно беспрепятственно применять к любой модели машинного обучения независимо от ее внутренней структуры, создание визуализаций только на основе входных и выходных данных непрозрачной модели является сложной задачей. сложная задача. Вот почему почти все методы визуализации, попадающие в эту категорию, работают вместе с методами релевантности функций, которые предоставляют информацию, которая в конечном итоге отображается для конечного пользователя.

2. Методы для конкретных моделей
Методы разработаны для конкретной модели машинного обучения и, следовательно, не могут быть напрямую экстраполированы на других учащихся.

Пример:

  • Ансамбли деревьев, случайные леса
  • Метод опорных векторов (SVM)
  • Многослойная нейронная сеть
  • Сверточные нейронные сети (CNN)
  • Рекуррентные нейронные сети (RNN)

Компромисс между интерпретируемостью модели и производительностью

Заключение

С увеличением числа внедрений машинного обучения в реальной жизни в настоящее время мы начинаем лучше понимать, когда наша модель делала определенные прогнозы.

Эти концептуальные замечания послужили прочной основой для систематического обзора недавней литературы, касающейся объяснимости, к которой подходили с двух разных точек зрения:

  1. Модели машинного обучения, которые обладают некоторой степенью прозрачности, поэтому в определенной степени интерпретируются сами по себе
  2. Апостериорные методы, разработанные для того, чтобы сделать модели машинного обучения более интерпретируемыми.

Ссылки:

  • [ДОКУМЕНТ] Объяснимый искусственный интеллект (XAI): концепции, таксономии, возможности и проблемы на пути к ответственному ИИ
  • [КНИГА] Интерпретируемое машинное обучение, автор Кристоф Молнар