27 июля компания HackerOne провела виртуальную панельную дискуссию и круглый стол с этическими хакерами из сообщества HackerOne, чтобы обсудить ситуацию с искусственным интеллектом (ИИ) и сотрудничество в рамках h. >сообщество, выступающее против использования ИИ в целях этического взлома.
В результате широкого обсуждения мы собрали 5 выводов о рисках, связанных с последней инновацией искусственного интеллекта, популяризированной ChatGPT. Эта технология, которую обычно называют «генеративным искусственным интеллектом», основана на «больших языковых моделях» (LLM), которые идентифицируют шаблоны и структуры в существующих данных для создания новых текстов, изображений, аудио, видео и многого другого.
Генераторный ИИ может расширить арсенал инструментов злоумышленников, расширяя поверхность атаки и увеличивая потенциальные нарушения безопасности — по масштабу и частоте.
Существующие пути атак можно более эффективно скомпрометировать с помощью таких инструментов, как ChatGPT и киберподпольная версия WormGPT. Эти инструменты предоставляют киберпреступникам такие функции, как:
- Автоматизация и развертывание кода, позволяющее киберпреступникам низкого уровня легко копировать существующие атаки программ-вымогателей, а опытным киберпреступникам — быстро переупаковывать существующие вредоносные модули для создания индивидуального вредоносного ПО.
- Создание очень убедительных фишинговых электронных писем и, в частности, предоставление возможности носителям языка, не являющимся носителями языка, расширять свои цели среди иностранных жертв.
- Создание «глубоких фейков» и синтетических голосов, позволяющих использовать сложные методы выдачи себя за другое лицо и методы социальной инженерии, которые убеждают ничего не подозревающих пользователей предоставить привилегированный доступ и информацию или перейти по вредоносным ссылкам.
Появляются также новые атаки, создающие новые риски.
Одним из примеров являются «атаки с быстрым внедрением», когда злоумышленники «взламывают» генеративный ИИ с помощью специальных подсказок.
Здесь злоумышленники с помощью тщательно продуманных входных данных манипулируют генеративными интерфейсами чат-ботов с искусственным интеллектом (такими как ChatGPT), заставляя их отклоняться от исходных небезопасных инструкций.
Об этой уязвимости было сообщено [1] в мае 2022 года OpenAI (Джоном Чефалу) как ответственное раскрытие и публично опубликовано [2] в сентябре 2022 года.
Подобная атака также может быть тайно внедрена в плагины или библиотеки, что приведет к генерации непреднамеренного вывода модели. Риски могут включать:
- раскрытие конфиденциальной информации
- создание неприемлемого контента, например распространение ложной, вводящей в заблуждение или предвзятой информации
- выполнение вредоносного кода
«Отравление данных» также является новым риском, когда злоумышленники манипулируют данными обучения модели ИИ, в результате чего инструмент ИИ ведет себя нежелательным образом.
Информация, которую пользователи напрямую предоставляют сеансу чат-бота с генеративным искусственным интеллектом, используется для обучения модели искусственного интеллекта. Таким образом, пользователи, например, OpenAI ChatGPT предупреждают, чтобы они не делились любой конфиденциальной информацией в ваших разговорах». [3]
Недавний громкий запрет Samsung Electronics ChatGPT (и других инструментов генеративного искусственного интеллекта) подчеркивает растущую обеспокоенность по поводу риска утечки конфиденциальной информации. (По разным данным, один инженер якобы ввел исходный код Samsung в ChatGPT, чтобы исправить программную ошибку, другой загрузил в ChatGPT транскрипцию внутренней встречи, чтобы создать заметки о встрече).
Однако, помимо таких утечек данных, может возникнуть еще один риск, связанный с зависимостью моделей ИИ от наборов обучающих данных.
Это явление известно как «отравление данных»: злоумышленники подделывают данные, например, вводя в модель предвзятые или ложные данные. Одним из часто приводимых примеров является инструмент искусственного интеллекта для обнаружения спама в электронной почте. Злоумышленники могли идентифицировать ключевые термины, которые встречаются в «хороших» электронных письмах, и вставлять их в спам-сообщения. «Изучая» этот поврежденный набор данных, злоумышленники могут заставить модель ИИ ошибочно классифицировать спам-сообщения как «хорошие».
В гонке за получением выгоды от быстро развивающегося и многообещающего рынка искусственного интеллекта выпуск инновационных услуг искусственного интеллекта может иметь прецедент над включением безопасности в продукт с первого дня.
В то время как компании готовятся реагировать на ожидания потребителей, соображения безопасности могут отойти на второй план. Одним из последствий усиления конкуренции может стать обострение рисков в цепочке поставок программного обеспечения.
Например, при создании нового программного продукта разработчики могут полагаться на ChatGPT, который предложит определенные внешние инструменты/плагины/библиотеки, не тратя время на систематическое выполнение необходимых проверок безопасности.
Злоумышленники могут воспользоваться этой слабой практикой обеспечения безопасности и внедрить вредоносное ПО в эти сторонние коды, которые, если они будут включены разработчиками, могут распространить вредоносное ПО по всему программному продукту.
При предотвращении новых и новых атак важно не упускать из виду основные принципы безопасности.
Возникающие риски, такие как «атаки с быстрым внедрением» или «отравление данных», отчасти связаны с недостаточным контролем над правами доступа к данным.
Например, в случае «атаки с быстрым внедрением», когда злоумышленник обманом заставляет чат-бота раскрыть конфиденциальную информацию, контрмерой может быть реализация различных уровней прав доступа (или авторизации) для пользователя, модели искусственного интеллекта и конфиденциальной базы данных.
Кроме того, громкий инцидент в Италии в марте 2023 года также послужил для компаний убедительным напоминанием о том, что использование технологии соответствует соответствующим законам о защите данных и конфиденциальности. (Это был временный запрет [4] ChatGPT итальянского правительства из-за опасений нарушения конфиденциальности — в частности, отсутствия какой-либо правовой основы, оправдывающей массовый сбор и хранение персональных данных для обучения чат-бота. ).
В целом, хотя много говорят о том, что ИИ «заменит» людей, похоже, что будет огромная потребность в «человеческом контакте» для устранения рисков, связанных с ИИ — по крайней мере, в ближайшем будущем.
Рекомендации
[2] https://twitter.com/goodside/status/1569128808308957185
[3] https://help.openai.com/en/articles/6783457-what-is-chatgpt
