В наших усилиях по лучшему пониманию искусственного интеллекта мы определили строительные блоки ИИ, обсудили предубеждения, которые могут существовать в наборах данных, рассмотрели способы, которыми модели ИИ измеряют точность и успех, и поговорили о - ближайшие альтернативы этим измерениям.

Один из оставшихся вопросов, который интересует как широкую общественность, так и исследователей ИИ, заключается в следующем: почему модель ИИ дает тот ответ, который она дает?

Объяснимый ИИ

Даже по мере того, как сбор данных и измерения успеха моделей ИИ совершенствуются, все еще остается открытый вопрос, на который исследователи хотят ответить — и о котором мы все должны заботиться. Это «почему» стоит за выводами ИИ. Почему конкретная модель ИИ производит такой результат? Какая информация, связи или «аргументация» стоят за тем или иным конкретным выводом и как мы можем повлиять на это «почему»?

Как описывает наша собственная команда проекта Аристо: Интеллектуальная система должна не только правильно отвечать на вопросы, но и уметь объяснять, почему ее ответы верны. Такая возможность необходима для практического принятия технологии ИИ. Это также важно для более широких целей передачи знаний пользователю и получения исправлений от пользователя, когда ответ системы неверен.

Другими словами, чтобы повысить производительность ИИ и улучшить его «обучаемость», модели должны объяснять свои рассуждения, чтобы мы могли скорректировать эти рассуждения, когда они неверны. Это также может помочь всем пользователям ИИ лучше понять выходные данные модели.

Вы когда-нибудь просили Siri, Alexa или другого голосового помощника выполнить задачу, и технология совершенно неправильно понимала запрос? Если бы вы могли спросить, почему Siri предоставила то, что она сделала, и исправить ошибки, вы могли бы помочь улучшить технологию и получить желаемый результат в следующий раз. Мы сможем улучшить производительность моделей ИИ в целом, когда сможем лучше понять и точно исправить то, что не работает.

Модели, демонстрирующие свою работу

Чтобы увидеть, как модели выбирают свои результаты, исследователи построили их, чтобы явно объяснить свою работу. В AI2 исследователи из команды Aristo сделали это с помощью таких проектов, как Набор данных EntailmentBank и Система вопросов-ответов Macaw. С первым мы можем увидеть, какие детали данных модель использует для выбора ответа на ввод вопроса. С последним ара можно использовать для вывода как ответов и пояснений, так и вопросов и пояснений на основе предоставленного ответа. Идентифицируя данные, которые модель использует для получения вывода, исследователям намного легче понять, как появился этот вывод, и где при необходимости можно внести поправки, чтобы изменить этот вывод.

Команда Aristo из AI2 в настоящее время работает над тем, «почему» и над тем, что будет дальше. Наша цель — обучаемая система рассуждений для вопросов-ответов (QA), в которой пользователь может взаимодействовать с точными объяснениями ответов и исправлять ошибки, чтобы система со временем улучшалась, — объясняют исследователи Бхавана Далви, Ойвинд Тафьорд и Питер Кларк. Насколько нам известно, это первая система, порождающая цепочки, одновременно верные (ответ следует из рассуждений) и правдивые (цепочка отражает собственные убеждения системы, установленные путем самоанализа). При оценке пользователи считают, что большинство (65%+) сгенерированных цепочек ясно показывают, как ответ следует из набора фактов.

Предоставление пользователям возможности «обучать» свои модели, исправляя таким образом логику в цепочке рассуждений, может значительно облегчить улучшение этих моделей.

Потенциал контекста

Влияние на входные данные, которые модель использует как часть своего почему, также может привести к лучшим и более понятным результатам. Это одна из исследовательских проблем, которой занимается наш дочерний офис AI2 Israel. Если языковая модель может успешно определить, на что ссылается вопрос или утверждение, используя более широкий контекст, в котором появляется этот вопрос или утверждение (например, документ или речь, окружающие его), это может значительно повысить ее производительность.

Связывание существительного в тексте с другим существительным называется связыванием. Люди учатся делать это естественным образом как часть языковой обработки. Например, в предложении:

Машина была неудобной. Сиденье было слишком низким.

Мы понимаем, что место относится к сиденью [автомобиля]. Если исследователи смогут позволить языковым моделям надежно делать аналогичные выводы, ИИ не только продвинется вперед в процессе вывода, но и откроет новые способы обучения ИИ без необходимости подробного описания каждой детали ситуации.

Еще одним мощным источником контекста для некоторых моделей является визуальный ввод. Модели, которые работают как с языком, так и со зрением, могут использовать контекст изображения, чтобы ответить на вопрос, который сам по себе не очень конкретен. Например, на вопрос "Чего ждут люди?" очень сложно ответить без дополнительного контекста о том, кто эти люди, где они находятся или что они делают. Если модель может также учитывать изображение автобусной остановки как часть этого вопроса, она может дать разумный ответ.

Вы можете сами попробовать ответить на визуальные вопросы в программе AI2 Computer Vision Explorer.

Демистификация ИИ

Различные системы, которые мы сегодня называем ИИ, далеки от разума — у них нет концепции существования, нет мотивации, которая не была бы специально предоставлена ​​людьми, и нет надежного способа описать, организовать или проверить знания, которые они используют для выполнять свои задачи. Модели ИИ строятся на основе наборов данных, которые создают люди, а это означает, что они могут быть настолько несовершенными или успешными, какими мы их создаем. Демистификация ИИ путем разработки новых способов понять, какие модели являются наиболее успешными, как мы измеряем этот успех и почему системы ИИ обеспечивают именно те результаты, которые они делают, может помочь всем, кто использует ИИ или создает его. Методы и исследования, описанные в этой статье, — это только начало; интерактивный ИИ, способный успешно включать значимый контекст и отзывы людей, которые его используют, является ключевой задачей, стоящей сегодня перед исследовательским сообществом, и над этим AI2 работает с нескольких точек зрения. Узнайте больше на демонстрациях и веб-сайтах, ссылки на которые приведены в этой статье, и, если вы исследователь или инженер ИИ, мы надеемся, что вы сможете использовать ресурсы, которые мы создаем для увлекательной проблемы объяснимого ИИ.

Узнайте больше об AI2 на allenai.org и обязательно ознакомьтесь с нашими открытыми позициями.

Подпишитесь на @allen_ai в Твиттере и подпишитесь на Информационный бюллетень AI2, чтобы быть в курсе новостей и исследований AI2.