Написано профессором Джоном Макдермидом OBE FREng, директором Международной программы обеспечения автономии

Хотя потенциальные преимущества ИИ и МО очевидны, нельзя торопиться с внедрением систем, использующих эти технологии. Безопасность имеет первостепенное значение и должна идти рука об руку с развитием системы. Если вы разрабатываете, покупаете или регулируете автономные технологии, вам нужна гарантия безопасности системы. В. Что мы подразумеваем под гарантией безопасности и как мы можем ее получить? А. Связь; Уверенность; и доверие

Автономия, искусственный интеллект (ИИ), машинное обучение (МО): модные слова, которые появляются в новостях, социальных сетях и разговорах каждый день.

Социальные преимущества таких технологий сейчас очевидны как никогда — более быстрая диагностика заболеваний, бесконтактная доставка из беспилотной капсулы, по крайней мере, в некоторых частях мира, — и, возможно, автономные такси через несколько лет.

Они также могут принести огромную пользу организациям:

  • Более быстрая обработка данных.
  • Более разумное управление делами.
  • Улучшенная эффективность.

Хотя потенциальные преимущества очевидны, с внедрением систем на основе ИИ и машинного обучения нельзя торопиться. Безопасность имеет первостепенное значение и должна идти рука об руку с развитием системы. Если вы разрабатываете, покупаете или регулируете автономные технологии, вам нужна гарантия безопасности системы.

Что мы подразумеваем под гарантией безопасности и как мы можем ее получить? Обеспечение безопасности можно разбить на три элемента: связь; уверенность; и доверие.

Коммуникация

Система, которая передает вам необходимую информацию, чтобы вы понимали, как она принимает решения.

Есть две части общения. Во-первых, общение с пользователями (это могут быть ваши сотрудники, если вы покупаете или развертываете систему в своей организации), чтобы понять, чего они ожидают от системы, которую они будут использовать. Понимание того, что ваши сотрудники или другие пользователи ожидают от системы, что она будет делать, а что нет и как она будет поддерживать их работу, обеспечит приемлемость и желательность системы.

Во-вторых, связь с системой необходима, чтобы иметь возможность объяснить, что она сделала. Решения, принимаемые алгоритмами машинного обучения и искусственного интеллекта, часто скрыты — чтобы знать, что система безопасна, вам нужно понимать, что она сделала и чего добилась. Это требует, чтобы система сообщала и объясняла, какие решения были приняты, какие действия были предприняты и почему. Эти пояснения могут потребоваться:

  • Перед использованием — для поддержки безопасного развертывания
  • Одновременно с процессом принятия решений
  • Ретроспектива — для расследования происшествий и происшествий Уверенность

Уверенность

Система, построенная с использованием инструментов, методов и данных, которые дают вам уверенность в ее решениях, действиях, возможностях, безопасности и ограничениях.

Вам нужна уверенность в том, что система, которую вы разрабатываете, покупаете или регулируете, будет вести себя так, как вы ожидаете, что неопределенность и риск сведены к минимуму, а принятые решения будут «хорошими». Частично это связано с пониманием требований к системе, чтобы убедиться, что она разработана в соответствии с этими требованиями, и частично с демонстрацией (или демонстрацией вам), что элементы системы машинного обучения могут безопасно выполнять свои задачи ( т.е. с настолько низким риском причинения вреда человеку, насколько это практически возможно).

Уверенность требует знания того, что оценка безопасности основана на надежных, достоверных доказательствах и данных и что риски хорошо изучены и, по возможности, количественно определены. Это дает вам уверенность в самой системе, но понимание того, что система используется по назначению, данные обновляются и т. д., также имеет решающее значение для обеспечения уверенности.

Доверять

Структурированный способ понять и оценить систему, а также оценить, достаточны ли ее гарантии безопасности и можно ли доверять.

Вы должны быть уверены, что система оправдает ожидания общества (или ваших сотрудников, или клиентов) в отношении системы. Речь идет о признании того, что риски, связанные с этим, уместны и максимально снижаются, и что вы понимаете ограничения технологии.

Доказательствам, которые система или ее разработчики предоставляют для уверенности в ее безопасности, следует доверять. Вы должны знать, что данные, на которых он был обучен, являются подходящими, например. справедливо представляет все классы пользователей и что при проектировании системы учитывались различные типы пользователей.

Гарантия: Больше, чем сумма его частей

Уверенность – это объединение общения, уверенности и доверия в структурированном и подтвержденном виде.

Работа, которую мы проводим в рамках Международной программы обеспечения автономии, направлена ​​на продвижение обеспечения безопасности автономных систем посредством сотрудничества с академическими кругами, промышленностью и регулирующими органами со всего мира и в различных областях.

У нас есть большой тело исследований передовой практики и процессов сбора доказательств, необходимых для доказательства безопасности этих новых сложных технологий. Например, мы только что опубликовали методологию обеспечения компонентов машинного обучения в автономных системах (AMLAS). Это ключевая часть нашей более широкой исследовательской стратегии, которая предоставит рекомендации по ключевым областям обеспечения безопасности автономных систем.

Первоначально размещено здесь

Больше идейного лидерства

Первоначально опубликовано на https://digileaders.com 18 февраля 2021 г.