Объяснимый AI (XAI)

Теперь алгоритмы знают, что они делают и почему!

ВВЕДЕНИЕ:

Привет, технофилы и пытливые умы. Добро пожаловать в следующую главу книги «Искусственный интеллект». Давайте углубимся в загадки искусственного интеллекта, где ИИ производит неизгладимое впечатление! Искусственный интеллект успешно привлек внимание всех поколений, от Gen Alpha до Gen-Z и даже бумеров. Это похоже на то, как собрать поколение, чтобы испытать его фантастическую вселенную, а также произвести революцию в бизнесе слева, справа и в центре. Это как выброс адреналина, от которого не можешь оторваться.

Вам когда-нибудь надоедает слышать или предполагать, что Instagram понимает, о чем мы говорим, и начинает показывать вам фотографии или именно те вещи, которые вы обсуждали с другом? Но конкретного ответа на эту тему каждый раз, когда она возникает, нет. Возможно, в Интернете можно сказать то-то и то-то, но что правда? И, даже если верить интернету, где объяснение? Мы люди, и, в отличие от нашей правовой системы, нам нужны доказательства, чтобы верить во что-либо. Так что не волнуйтесь, здесь на помощь приходит объяснимый ИИ, также известный как XAI.

В этом блоге мы углубимся в теорию XAI, раскроем ее гайки и болты, исследуем многочисленные методологии и, конечно же, предложим множество релевантных и интересных примеров, которые сделают магию кристалла XAI очевидной! Так что пристегивайтесь, потому что мы собираемся отправиться в захватывающее путешествие, технически обоснованное и очень веселое! Давайте внесем ясность в область искусственного интеллекта по одному объяснению за раз! 🌐🧩

A. ОПРЕДЕЛЕНИЕ И ВАЖНОСТЬ ОБЪЯСНИМОГО ИИ (XAI):

КРЕДИТЫ С ИИ:

Рассмотрим следующий сценарий: вы хотите подать заявку на кредит (будь то жилищный кредит, кредит на автомобиль, образовательный кредит или что-то еще), и вы взаимодействуете с системой ИИ для процесса подачи заявки. Потому что именно это произойдет в ближайшие пять лет. Вам отказали в кредите без объяснения причин. Точно! Для меня это тоже звучит безумно, но здесь в игру вступает XAI, поскольку он может помочь вам понять, почему вам отказали, и выявить конкретные причины, по которым вы не чувствуете, что разговариваете с каменным лицом и хладнокровный кредитный инспектор.

ЗДРАВООХРАНЕНИЕ С ИИ:

Давайте рассмотрим несколько примеров, чтобы помочь вам понять, почему Объяснимый ИИ так важен: представьте себе систему здравоохранения, в которой вместо того, чтобы разговаривать с врачом, вы взаимодействуете с системой ИИ, которая помогает вам в постановке диагноза. Сумасшедший, я знаю, что никто не будет доверять ИИ, даже я сам! Причина: не будет объяснения рекомендуемым лекарствам, что подозрительно. Однако с XAI эта тревога может быть заменена пониманием! Система предложит медицинские факты и объяснения своих предложений, так что вы не останетесь в неведении, задаваясь вопросом, участвуете ли вы в одном из эпизодов черного зеркала!

ПРОСМОТР С ИИ:

Давайте поговорим о том, что каждый человек на планете испытал хотя бы раз в жизни. Вы когда-нибудь смотрели шоу на Netflix или любом другом потоковом провайдере, а затем получали странные предложения для сериала, который вы даже не думали смотреть? Не кажется ли вам, что наша собственная электроника шпионит за нами? Объяснимый ИИ может присоединиться к просмотру, а также помочь вам понять, почему алгоритм считает, что вам понравится этот криминальный триллер или романтическая комедия, о которых вы никогда не слышали. Так что больше никаких таинственных алгоритмов, играющих скрытно и предоставляющих рекомендации, которые вам не нужны.

Инвестирование и торговля с помощью ИИ:

Последний пример предназначен для трейдеров и инвесторов. Рассмотрим кого-то, кто является умным инвестором, пытающимся иметь дело с фондовым рынком. Поскольку этот человек уже хорошо осведомлен, он или она уже использует торговую систему на основе ИИ, но это больше похоже на игру в дартс в темноте. Вы не знаете, стоит ли вам доверять этой системе с искусственным интеллектом или нет. Но не бойтесь, мои коллеги-инвесторы и трейдеры, объяснимый ИИ здесь, и он действительно может объяснить причины прогнозов, так что вы не просто слепо следуете его прихотям.

Как мы все знаем, в каждой истории есть как хорошие, так и плохие стороны, и ИИ не исключение. Однако у нас есть возможность превратить плохое в хорошее, что в конечном итоге сделает ИИ не чем-то далеким и недоступным, к которому люди не доверяют, а, скорее, по-настоящему понятным ИИ, который поможет нам найти решения наших проблем. По сути, клон человека, но в форме ИИ.

ПОНИМАНИЕ XAI: РАСКРЫТИЕ ЧЕРНОГО ЯЩИКА

А. Что такое черный ящик в модели ИИ?

Хорошо, очень простыми словами, представьте себе машину, в которой вы вводите данные и получаете результат (правильный результат), но вы не знаете, что происходит внутри алгоритма, поскольку он весь черный, или думайте, что это цифровой ящик Пандоры, в котором волшебство происходит! Это утаивание интригует, но оно не помогает, когда дело доходит до важных вопросов, которые мы обсуждали ранее. Я приведу вам пример: представьте, что вы задаете ИИ-ассистенту серьезный вопрос о здравоохранении или чем-то еще и не получаете ничего, кроме странного счастливого смайлика! Разве это не странно? Вот о чем я говорю.

B. Ограничения моделей черного ящика и необходимость объяснимости

Модели ЧЕРНЫЙ ЯЩИК также могут быть эффективны, когда речь идет о прогнозах или выводах без предоставления каких-либо внутренних знаний, что вызывает недоумение относительно того, как они пришли к такому выводу.

Позвольте мне привести несколько примеров, чтобы вы поняли, о чем я говорю.

Глубокие нейронные сети (ГНС): о курсе, вы слышали, что этот курс вызвал переполох среди технических специалистов. Итак, в целом Deep Neural Networks — это невероятно сложные структуры с тысячами, если не миллионами связанных узлов, которые трудно понять из-за их огромного количества параметров и нелинейных преобразований.

По сути, определение того, какие конкретные входные данные ведут к каким связанным узлам среди миллионов взаимосвязанных узлов для получения этого конкретного вывода, может быть сложной задачей, что резюмирует его как классический пример модели черного ящика.

Итак, когда дело доходит до этих моделей и их сложного поведения, которые включают в себя сложные математические формулы и преобразования, которые почти трудно понять человеческому мозгу, но в то же время они являются самыми мощными и точными моделями в истории ИИ. Однако мы не можем доверять им, когда речь идет о целостности и объяснимости многочисленных обязанностей, указанных выше. Вот почему нам нужна объяснимость в каждом развертываемом нами ИИ, чтобы сохранить доверие потребителей, целостность и подлинность.

C. Ключевые концепции XAI?

Что ж, ключевой принцип, который следует помнить при работе с объяснимым ИИ, заключается в том, что он фокусируется на разработке моделей машинного обучения, в частности, алгоритмов, которые могут дать нам основания и объяснить, почему и как мы получили результат. Ключевые концепции заключаются в следующем:

ИНТЕРПРЕТИМОСТЬ: считайте, что это понятие доступно человеческому разуму. Это подразумевает, что интерпретируемость в первую очередь относится к способности алгоритма описывать, как он работает, с кристально четкими объяснениями. Это также помогает пользователям получить представление о методе прогнозирования результатов модели.
ПРОЗРАЧНОСТЬ: прозрачность относится к самому слову, которое подразумевает, что внутренняя работа модели ИИ должна быть легко доступна и прозрачна для пользователей.
МЕСТНОЕ И ГЛОБАЛЬНОЕ ОБЪЯСНЕНИЕ. Позвольте мне объяснить простыми словами, как эти два понятия идут рука об руку. Локальное объяснение относится к прогнозируемому поведению модели, которое является последним компонентом, тогда как глобальное объяснение относится ко всему поведению модели, которое включает в себя все, от начала до конца.
ВЗАИМОДЕЙСТВИЕ ЧЕЛОВЕК-КОМПЬЮТЕР: Общение имеет важное значение, будь то между людьми или между людьми и компьютерами, или наоборот. По сути, это означает, что пользовательский интерфейс должен быть понятным и простым в использовании для тех, у кого нет опыта работы с приложениями или даже с компьютерами.

МЕТОДЫ ДЛЯ ОБЪЯСНИМОГО ИИ:

Давайте рассмотрим некоторые мощные подходы ИИ к принятию решений, такие как LIME, SHAP и DeepLIFT, которые в первую очередь и только нацелены на то, чтобы пролить свет на таинственную работу моделей ИИ.

ВАЖНОСТЬ ФУНКЦИИ. Таким образом, эта стратегия просто помогает нам определить, какой атрибут оказывает наибольшее влияние на прогнозы модели. В большинстве стратегий вариаций упор делается на SHAP (ДОБАВИТЕЛЬНЫЕ ОБЪЯСНЕНИЯ ШЭПЛИ) и LIME (МЕСТНАЯ ИНТЕРПРЕТАЦИЯ).
LIME (ОБЪЯСНЕНИЕ МЕСТНОЙ ИНТЕРПРЕТАЦИИ, НЕЗАВИСИМОЕ ОТ МОДЕЛИ):Рассмотрите эту стратегию как идеального шпиона, который знает все, что там происходит. В широком масштабе эта стратегия позволяет нам декодировать модель черного ящика, используя гораздо более простую модель (например, линейную регрессию). Он вызывает сбои при наличии определенного типа данных, затем бездельничает и наблюдает за изменениями, внесенными в прогнозы, отмечает их, а затем предоставляет нам всю информацию и понимание поведения модели.
ЗНАЧЕНИЯ SHAP (АДДИТИВНОЕ ОБЪЯСНЕНИЕ ШЭПЛИ): это понятие, полученное из теории игр, которое просто подразумевает, что оно исследует каждую характеристику модели и отмечает, какие функции вносят наибольший вклад в прогноз. Он вычисляет средний предельный вклад функции по всем доступным подмножествам функций.
МЕТОДЫ, ОСНОВАННЫЕ НА ПРАВИЛАХ. Деревья решений и модели, основанные на правилах, понятны по определению. Они могут дать четкие маршруты выбора, которые способствуют определенному прогнозу.
Методы визуализации. Графики, тепловые карты и карты заметности могут использоваться, чтобы показать, как различные функции влияют на прогнозы, что упрощает понимание поведения модели для отдельных лиц.
Объяснения, основанные на противоположных фактах. Эти стратегии предоставляют альтернативные входные обстоятельства, которые приводят к четким прогнозам модели, позволяя людям понять сценарии «что, если».
Объяснения на основе концепций. Это влечет за собой преобразование предсказаний модели в концепции, понятные людям. Например, при анализе изображений он может подчеркивать интересующие элементы или области, которые помогли сделать определенный прогноз.
Послойное распространение релевантности (LRP). LRP – это подход к объяснению с помощью глубокой нейронной сети. Он обеспечивает ранжирование значимости выходных данных, генерируемых каждым нейроном, отражая его влияние на точность окончательного прогноза.
Механизмы внимания. Процессы внимания можно визуализировать в таких моделях, как преобразователи, чтобы понять, какие элементы ввода являются наиболее важными для создания определенного результата.
Дистилляция модели. Это влечет за собой обучение более простой модели (такой как линейная регрессия или деревья решений) для имитации поведения более сложной модели. Усовершенствованная модель затем может быть использована для предоставления объяснений.

БОРЬБА С ПРЕДОСТОРОЖНОСТЬЮ И СПРАВЕДЛИВОСТЬЮ В ИИ:

Давайте сначала обсудим, почему так важно обсуждать предвзятость и справедливость в ИИ. Давайте посмотрим на недавнее тематическое исследование, чтобы понять, что влечет за собой эта проблема: я уверен, что вы слышали о тревожном случае AMAZON AI Recruiting TOOL, который оказался предвзятым в отношении женщин-кандидатов. Другое тематическое исследование включает расовые предубеждения в АЛГОРИТМАХ здравоохранения, которые затронули многих чернокожих пациентов, что в конечном итоге привело к расизму в отделах здравоохранения.

Итак, теперь мы знаем, что у каждого действия есть последствия, и ИИ не исключение; устранение таких последствий должно быть нашей главной заботой. Потому что, в конце концов, ИИ должен помочь нам облегчить нашу жизнь, а не настраивать нас друг против друга с помощью своих механизмов предвзятости. Теперь мы понимаем, почему так важно бороться с систематической предвзятостью. Теперь давайте рассмотрим несколько видов предвзятости в ИИ, а также справедливость принятия решений и подходы, используемые для борьбы с предрассудками.

A. Понимание предвзятости в системах ИИ:

В области искусственного интеллекта очень важно противостоять слону в комнате: предрассудкам. Системы ИИ хороши ровно настолько, насколько хороши предоставленные им данные, и, к сожалению, предвзятые данные могут проникнуть в их решения и повлиять на их выбор. Предвзятость может привести к неправомерной дискриминации и способствовать сохранению социального неравенства. Понимание наличия и влияния предвзятости в системах ИИ — это первый шаг к разработке справедливых, прозрачных и этичных моделей. Давно пора исследовать базовую работу искусственного интеллекта, чтобы обеспечить справедливость и ответственность в каждом байте кода.

Давайте рассмотрим некоторые из наиболее распространенных типов предвзятости, которые чаще всего возникают и часто взаимосвязаны друг с другом:

АЛГОРИТМИЧЕСКАЯ СМЕШАННОСТЬ. Такая предвзятость возникает, когда алгоритм преднамеренно или случайно смещен. Например, алгоритм, обученный на наборе данных, ориентированном на мужчин, с большей вероятностью будет давать искаженные прогнозы в отношении мужчин.
СМЕЩЕНИЕ ДАННЫХ. Эта форма смещения возникает, когда данные, используемые для обучения алгоритма, искажены. Например, если набор данных смещен в сторону белых людей, алгоритм с большей вероятностью будет давать предвзятые прогнозы в отношении белых людей.
ОБЩЕСТВЕННАЯ ПРЕДУБЕЖДЕННОСТЬ. Социальная предвзятость. Такого рода предубеждения возникают, когда алгоритм отражает общественные предубеждения. Если, например, существует социальная предвзятость в отношении женщин в дисциплинах STEM, система, основанная на данных выпускников STEM, вероятно, более склонна давать предвзятые суждения в отношении женщин.

B. Важность справедливости при принятии решений:

Справедливость имеет важное значение в принятии решений ИИ. Показатели справедливости, такие как равный доступ к рабочей силе, одинаковая надежность и этническое равенство, могут помочь в выявлении потенциальной предвзятости. Чтобы обеспечить равные результаты, а также избежать предвзятости, можно использовать алгоритмы, учитывающие справедливость, и подходы к регуляризации.

ПРИМЕР:

XAI в социальных сетях: понимание алгоритмов искусственного интеллекта, лежащих в основе рекомендаций новостной ленты:

В этом быстро меняющемся мире, где все наслаждаются социальными сетями, мы не можем отрицать тот факт, что это также темное место, где мы делимся своей личной информацией, а также информацией о нашей семье и друзьях, и самая сумасшедшая тенденция в наши дни — это искусственный интеллект. . алгоритмы. Мы можем выяснить их процесс принятия решений и изучить, как объяснимый ИИ обеспечивает прозрачность для нас в этом случае:

Давайте начнем с понимания алгоритма социальных сетей:

СБОР ДАННЫХ.Сбор данных. Социальные сети собирают огромное количество пользовательских данных, таких как разговоры, предпочтения и показатели вовлеченности. Эта информация служит основой для алгоритма ИИ.
ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ДАННЫХ. Подготовка данных включает в себя очистку и изменение необработанных данных, чтобы сделать их пригодными для анализа. Этот этап уменьшает шум и улучшает способность алгоритма обнаруживать закономерности.
ИЗВЛЕЧЕНИЕ ФУНКЦИЙ. Алгоритмы искусственного интеллекта извлекают из извлеченных данных такую информацию, как пользовательские предпочтения, релевантность информации и прошлое взаимодействие. Эти характеристики вводятся в алгоритм рекомендаций.
РАЗРАБОТКА МОДЕЛИ МАШИННОГО ОБУЧЕНИЯ. Система искусственного интеллекта использует расширенные методы машинного обучения, такие как совместная фильтрация, фильтрация на основе контента и гибридные методы. Чтобы найти релевантную информацию, эти алгоритмы анализируют характеристики пользователей и сравнивают их с аналогичными профилями.

Мы поняли, как алгоритм был разработан для любых социальных сетей, теперь как этот алгоритм работает на самом деле? Пойдем с объяснимым ИИ 👍

XAI ПРЕДСТАВЛЯЕТ ЧЕРНУЮ ЯЩИКУ:

Подходы XAI могут создавать объяснения на основе правил, раскрывая конкретные требования, которые алгоритм использует для предложения материала. Например, "Публикации рекомендуются на основе схожих взаимодействий с пользователями и релевантности контента".
Атрибуция функций, как мы видели выше — XAI поддерживает атрибуцию функций, которая выделяет функции, оказывающие существенное влияние на предложения. "Например, сообщения от друзей с высоким уровнем взаимодействия получают приоритет".
Объяснения на уровне пользователя. XAI поясняет, почему определенные материалы появляются в ленте отдельного пользователя, предлагая объяснения на уровне пользователя. Например, "Эта публикация была рекомендована вам из-за вашего интереса к технологиям и недавнего взаимодействия с похожим контентом".

ЗАКЛЮЧЕНИЕ:

XAI имеет решающее значение для преодоления разрыва между алгоритмами ИИ и потребителями. Это создает доверие и позволяет пользователям делать осознанный выбор, предлагая подробные описания того, почему информация предлагается в новостных лентах социальных сетей. По мере развития социальных сетей открытость XAI предлагает более персонализированный и ориентированный на пользователя подход, защищая от любых предубеждений и поддерживая ответственное сообщество ИИ.