Важность интерпретируемости
Если модель машинного обучения работает хорошо, почему бы нам просто не доверять модели и игнорировать почему она приняла определенное решение? Потому что такие показатели, как точность, F1, Precision, являются неполным описанием большинства реальных задач.
В некоторых случаях нам все равно, почему было принято решение, достаточно знать, что прогностическая эффективность на тестовом наборе данных была хорошей. Но в других случаях знание «ПОЧЕМУ» может помочь нам узнать больше о проблеме, данных и причинах, по которым модель может дать сбой.
Некоторые модели могут не требовать объяснений, потому что они используются в среде с низким уровнем риска, что означает, что ошибка не будет иметь серьезных последствий (например, система рекомендации фильмов) или метод уже тщательно изучен и оценен (например, оптическое распознавание символов).
По умолчанию модели машинного обучения улавливают смещения из обучающих данных.
Разные цели объяснимости в моделях машинного обучения для разных профилей аудитории
Как интерпретировать модель?
Есть модели, которые можно интерпретировать с помощью дизайна, и те, которые можно объяснить с помощью внешних методов. Эту двойственность также можно рассматривать как разницу между интерпретируемыми моделями и методами интерпретируемости моделей. Более широко принята классификация:
- Прозрачные модели
- Апостериорная объяснимость
Прозрачные модели — Уровень прозрачности
- Моделируемостьобозначает способность модели моделировать или обдумывать ее исключительно человеком, поэтому сложность занимает доминирующее место в этом классе. При этом простые, но обширные (т. е. со слишком большим количеством правил) системы, основанные на правилах, не соответствуют этой характеристике, в то время как нейронная сеть с одним персептроном подпадает под нее.
- Разложимость означает возможность объяснить каждую из частей модели (ввод, параметр и вычисление). Эта характеристика может дать возможность понимать, интерпретировать или объяснять поведение модели.
- Алгоритмическую прозрачность можно рассматривать по-разному. Он имеет дело со способностью пользователя понимать процесс, которому следует модель для получения любого заданного вывода из своих входных данных.
Прозрачные модели — Пример
- Линейная/логистическая регрессия
- Деревья решений
- K-ближайшие соседи
- Учащиеся, основанные на правилах
- Общие аддитивные модели
- Байесовские модели
Апостериорная объяснимость
Когда модели машинного обучения не соответствуют ни одному из критериев, предъявляемых для объявления их прозрачными, необходимо разработать и применить к модели отдельный метод для объяснения ее решений. Мы можем разделить на два типа:
- Методы, не зависящие от модели
Методы предназначены для их применения к моделям машинного обучения любого типа. И они могут полагаться на упрощение модели, объяснение релевантности функций и визуальное объяснение.
- Упрощение модели
Почти все методы, использующие этот подход, основаны на извлечении правил и LIME: локальные интерпретируемые объяснения, не зависящие от модели. » является одним из примеров - Объяснение релевантности признаков
Он работает путем ранжирования или измерения влияния, релевантности или важности каждого признака в прогнозируемых результатах модели. быть объяснено, напр. SHAP (аддитивные объяснения Шепли) - Визуальное объяснение
Визуальное объяснение менее распространено в области методов, не зависящих от модели, для апостериорной объяснимости. Поскольку структура этих методов должна гарантировать, что их можно беспрепятственно применять к любой модели машинного обучения независимо от ее внутренней структуры, создание визуализаций только на основе входных и выходных данных непрозрачной модели является сложной задачей. сложная задача. Вот почему почти все методы визуализации, попадающие в эту категорию, работают вместе с методами релевантности функций, которые предоставляют информацию, которая в конечном итоге отображается для конечного пользователя.
2. Методы для конкретных моделей
Методы разработаны для конкретной модели машинного обучения и, следовательно, не могут быть напрямую экстраполированы на других учащихся.
Пример:
- Ансамбли деревьев, случайные леса
- Метод опорных векторов (SVM)
- Многослойная нейронная сеть
- Сверточные нейронные сети (CNN)
- Рекуррентные нейронные сети (RNN)
Компромисс между интерпретируемостью модели и производительностью
Заключение
С увеличением числа внедрений машинного обучения в реальной жизни в настоящее время мы начинаем лучше понимать, когда наша модель делала определенные прогнозы.
Эти концептуальные замечания послужили прочной основой для систематического обзора недавней литературы, касающейся объяснимости, к которой подходили с двух разных точек зрения:
- Модели машинного обучения, которые обладают некоторой степенью прозрачности, поэтому в определенной степени интерпретируются сами по себе
- Апостериорные методы, разработанные для того, чтобы сделать модели машинного обучения более интерпретируемыми.
Ссылки:
- [ДОКУМЕНТ] Объяснимый искусственный интеллект (XAI): концепции, таксономии, возможности и проблемы на пути к ответственному ИИ
- [КНИГА] Интерпретируемое машинное обучение, автор Кристоф Молнар