ExCITE AI избавит индустрию искусственного интеллекта от тупика
Как вы могли догадаться из названия этого поста, ИИ ЗАСТРЕЛ. Впечатляющие успехи были достигнуты компаниями, делающими ставку на существующие популярные технологии, такие как нейронные сети. Но у этих систем «черных ящиков» есть опасные недостатки, которые мешают отрасли развиваться в областях, критически важных для безопасности. Любая технология искусственного интеллекта/машинного обучения (AI/ML), используемая в критичном для безопасности пространстве, должна иметь возможность ExCITE или объяснять, вычислять, интерпретировать, отслеживать и редактировать свои процессы и результаты.
Системы ИИ состоят в основном из программного обеспечения, которое кодирует алгоритмы, модели и данные. Каждый из них сам по себе является возможностью для ошибок (людей или машин), предубеждений или злого умысла. Некоторые приложения ИИ в настоящее время имеют слишком большое влияние на человека и поэтому либо строго регулируются, как банковские кредиты, либо просто не используются из-за негативной реакции общественности, как, например, распознавание лиц для правоохранительных органов. В социальных сетях эти алгоритмы были эффективно захвачены злоумышленниками для вмешательства в выборы в США. Менее заметно, что эти алгоритмы непреднамеренно увеличили детскую тревожность и уровень самоубийств. Ясно, что ИИ представляет собой множество проблем, вызывающих необходимость исследовать, чего следует ожидать от систем в производственной среде.
В настоящее время отсутствует консенсус в отношении того, чего следует ожидать от ИИ/МО, работающего в широкомасштабных средах с высокими ставками. В зависимости от приложения и предметной области одни функции системы ИИ имеют большую ценность, чем другие. По мере того, как мы становимся все более зависимыми от ИИ, интегрированного в наши автомобили, медицинское оборудование, военные и судебные системы, доверие и безопасность важнее всего. Когда что-то идет не так в критически важных с точки зрения безопасности отраслях (например, в аэрокосмической, автомобильной, оборонной, здравоохранении), часто это может стоить жизни. Права на ошибку нет. Когда люди умирают в результате сбоя программного обеспечения, нам нужно точно знать, что пошло не так, почему и как мы можем это исправить, чтобы это не повторилось. Многие существующие системы AI/ML не дают четких объяснений своим выводам, правильным или неправильным, а те системы, которые объяснимы, часто недостаточно сложны для использования в этих приложениях. Существует ряд систем «черного ящика», которые не могут объяснить, как их выходные данные используются в приложениях в различных формах, генеративный ИИ для создания изображений и текста, навигационные системы ИИ для автономного вождения, поддержка принятия решений ИИ для медицинской диагностики и лечения, список продолжается.
В обычных программах код, который может состоять из миллионов строк, анализируется построчно, пока не будет найдено и исправлено неправильное выражение. В моделях ML программирование исходит непосредственно из данных. Количество записей данных, которые создают модели, на порядки выше, чем в обычных программах. Тот факт, что достаточно сложный ML может обрабатывать больше данных, чем люди, становится ахиллесовой пятой, когда что-то идет не так и от аналитика ждут, что он найдет иголку в стоге сена. Если аналитик идентифицирует эти плохие записи, рассмотрите препятствия, необходимые для устранения записей данных, которые привели к катастрофическому результату. Изменения любых входных данных влекут за собой масштабную переобучение системы, требующее использования огромного количества ресурсов, часто с большими затратами, без гарантии того, что та же самая ошибка не повторится.
В разных отраслях и приложениях лица, принимающие решения, ищут способы ответственного внедрения ИИ. Министерство обороны разработало этические принципы ИИ для внедрения ответственного ИИ, и в государственном и частном секторах предпринимаются совместные усилия, чтобы понять, как мы можем безопасно внедрить ИИ.
В области ИИ звучат призывы к повышению объяснимости и интерпретируемости системы. Пользователи начинают осознавать, что нам необходимо понимание того, почему и как. Почему машина приняла именно это решение и как информация проходила через механизмы для получения этого результата? Но нам нужно начать думать проактивно, а не реактивно. Какие дополнительные системные возможности принесут пользу отрасли и защитят население как сейчас, так и через 20, 50, 700 лет? Мы считаем, что методология ExCITE является ключом к ответственному ИИ. Давайте быстро разберем методологию ExCITE для изучения систем AI/ML, о которой мы упоминали выше:
Объясните.
Это довольно просто, или, по крайней мере, должно быть, и уже исследуется и разрабатывается с разной степенью успеха https://www.darpa.mil/program/explainable-artificial-intelligence. Может ли система AI/ML объяснить нам, с точки зрения человека, почему она пришла к таким выводам?
Вычисления.
Постоянно растущий интерес к автономии и стремление к ней требуют вычислительности в системах AI/ML. Вы хотите знать, сколько времени потребуется системе для создания выходных данных для использования в операционных системах реального времени (RTOS). Для этого требуется детерминированная система, а это означает, что одни и те же входные данные должны каждый раз давать согласованные результаты, даже во время обучения. Время вывода может быть разницей между жизнью и смертью в критически важных для безопасности приложениях.
Интерпретировать.
Объяснимость говорит нам, почему, а интерпретируемость должна говорить нам, как система пришла к своим выводам. Мы должны быть в состоянии понять его внутреннюю работу. Не только все механизмы, которые существуют в системе, но и те, которые использовались для достижения конкретного вывода, и то, как данные передавались через систему от входа к выходу. Нам нужно перейти от «черного ящика» (нейронной сети) к технологии «прозрачного ящика».
Трассировка.
Прослеживаемость дает нам возможность проследить линию предсказания по системе от вывода до входа. Это особенно важно, если и когда что-то пойдет не так в результате вывода, созданного системой AI/ML. Аналитики должны иметь возможность окончательно определить, какие точки данных и/или внутренние механизмы вызвали неверный прогноз. Автоматизация этой функции на скорости компьютера устраняет проблему «иголки в стоге сена», с которой в настоящее время сталкиваются пользователи при выполнении сложных ручных проверок.
Изменить.
Что хорошего в прозрачности без возможности вносить изменения? И что хорошего в возможности вносить изменения, если они требуют значительных ресурсов, времени и денег для переобучения ИИ/МО? Объяснимость, интерпретируемость и прослеживаемость имеют решающее значение для выявления проблем. При сохранении всех этих мер система должна быть способна быстро адаптироваться при изменении или удалении входных данных. Часто система черного ящика должна быть полностью переобучена, когда запись необходимо обновить, изменить или удалить. AI/ML должен уметь адаптироваться к обновлениям и изменениям на лету. Возможность непрерывного редактирования обученных данных в производственной системе имеет решающее значение для исправления ошибочного поведения и гарантии того, что ошибки, изменения и обновления могут быть реализованы практически без нарушения производительности.
Методология ExCITE не зависит от искусственного интеллекта и машинного обучения и должна применяться к любому подходу, рассматриваемому для критически важных приложений и приложений с точки зрения безопасности. Цель состоит в том, чтобы создать заслуживающие доверия системы, которые указывают на сознательную и бессознательную предвзятость, гарантируют маловероятность сбоев и то, что если сбой происходит, он не повторяется дважды. Поскольку ИИ продолжает интегрироваться в нашу повседневную жизнь, возможности ExCITE должны быть в авангарде инноваций.
