Написано профессором Джоном Макдермидом OBE FREng, директором Международной программы обеспечения автономии
Хотя потенциальные преимущества ИИ и МО очевидны, нельзя торопиться с внедрением систем, использующих эти технологии. Безопасность имеет первостепенное значение и должна идти рука об руку с развитием системы. Если вы разрабатываете, покупаете или регулируете автономные технологии, вам нужна гарантия безопасности системы. В. Что мы подразумеваем под гарантией безопасности и как мы можем ее получить? А. Связь; Уверенность; и доверие
Автономия, искусственный интеллект (ИИ), машинное обучение (МО): модные слова, которые появляются в новостях, социальных сетях и разговорах каждый день.
Социальные преимущества таких технологий сейчас очевидны как никогда — более быстрая диагностика заболеваний, бесконтактная доставка из беспилотной капсулы, по крайней мере, в некоторых частях мира, — и, возможно, автономные такси через несколько лет.
Они также могут принести огромную пользу организациям:
- Более быстрая обработка данных.
- Более разумное управление делами.
- Улучшенная эффективность.
Хотя потенциальные преимущества очевидны, с внедрением систем на основе ИИ и машинного обучения нельзя торопиться. Безопасность имеет первостепенное значение и должна идти рука об руку с развитием системы. Если вы разрабатываете, покупаете или регулируете автономные технологии, вам нужна гарантия безопасности системы.
Что мы подразумеваем под гарантией безопасности и как мы можем ее получить? Обеспечение безопасности можно разбить на три элемента: связь; уверенность; и доверие.
Коммуникация
Система, которая передает вам необходимую информацию, чтобы вы понимали, как она принимает решения.
Есть две части общения. Во-первых, общение с пользователями (это могут быть ваши сотрудники, если вы покупаете или развертываете систему в своей организации), чтобы понять, чего они ожидают от системы, которую они будут использовать. Понимание того, что ваши сотрудники или другие пользователи ожидают от системы, что она будет делать, а что нет и как она будет поддерживать их работу, обеспечит приемлемость и желательность системы.
Во-вторых, связь с системой необходима, чтобы иметь возможность объяснить, что она сделала. Решения, принимаемые алгоритмами машинного обучения и искусственного интеллекта, часто скрыты — чтобы знать, что система безопасна, вам нужно понимать, что она сделала и чего добилась. Это требует, чтобы система сообщала и объясняла, какие решения были приняты, какие действия были предприняты и почему. Эти пояснения могут потребоваться:
- Перед использованием — для поддержки безопасного развертывания
- Одновременно с процессом принятия решений
- Ретроспектива — для расследования происшествий и происшествий Уверенность
Уверенность
Система, построенная с использованием инструментов, методов и данных, которые дают вам уверенность в ее решениях, действиях, возможностях, безопасности и ограничениях.
Вам нужна уверенность в том, что система, которую вы разрабатываете, покупаете или регулируете, будет вести себя так, как вы ожидаете, что неопределенность и риск сведены к минимуму, а принятые решения будут «хорошими». Частично это связано с пониманием требований к системе, чтобы убедиться, что она разработана в соответствии с этими требованиями, и частично с демонстрацией (или демонстрацией вам), что элементы системы машинного обучения могут безопасно выполнять свои задачи ( т.е. с настолько низким риском причинения вреда человеку, насколько это практически возможно).
Уверенность требует знания того, что оценка безопасности основана на надежных, достоверных доказательствах и данных и что риски хорошо изучены и, по возможности, количественно определены. Это дает вам уверенность в самой системе, но понимание того, что система используется по назначению, данные обновляются и т. д., также имеет решающее значение для обеспечения уверенности.
Доверять
Структурированный способ понять и оценить систему, а также оценить, достаточны ли ее гарантии безопасности и можно ли доверять.
Вы должны быть уверены, что система оправдает ожидания общества (или ваших сотрудников, или клиентов) в отношении системы. Речь идет о признании того, что риски, связанные с этим, уместны и максимально снижаются, и что вы понимаете ограничения технологии.
Доказательствам, которые система или ее разработчики предоставляют для уверенности в ее безопасности, следует доверять. Вы должны знать, что данные, на которых он был обучен, являются подходящими, например. справедливо представляет все классы пользователей и что при проектировании системы учитывались различные типы пользователей.
Гарантия: Больше, чем сумма его частей
Уверенность – это объединение общения, уверенности и доверия в структурированном и подтвержденном виде.
Работа, которую мы проводим в рамках Международной программы обеспечения автономии, направлена на продвижение обеспечения безопасности автономных систем посредством сотрудничества с академическими кругами, промышленностью и регулирующими органами со всего мира и в различных областях.
У нас есть большой тело исследований передовой практики и процессов сбора доказательств, необходимых для доказательства безопасности этих новых сложных технологий. Например, мы только что опубликовали методологию обеспечения компонентов машинного обучения в автономных системах (AMLAS). Это ключевая часть нашей более широкой исследовательской стратегии, которая предоставит рекомендации по ключевым областям обеспечения безопасности автономных систем.
Первоначально размещено здесь
Первоначально опубликовано на https://digileaders.com 18 февраля 2021 г.