Это краткое изложение исследовательской работы Эмпирическое исследование артефактов и рисков безопасности в цепочке поставок предварительно обученной модели, опубликованной на SCORED 2022. Полная статья доступна здесь, код и данные доступны здесь. Газету вел мой ученик Вэньсинь Цзян. Он также написал этот пост, который я слегка отредактировал.

В этой статье мы используем слово «PTM» как сокращение для «предварительно обученной модели».

Краткое содержание

Глубокие нейронные сети (DNN) широко используются, от автономных транспортных средств [1] до обнаружения вторжений [2]. Любой, кто работал с этой технологией, знает, как сложно создать и обучить DNN! Инженеры могут решить некоторые из этих проблем, повторно используя PTM и настраивая его для своих собственных задач. Чтобы упростить повторное использование программного обеспечения, инженеры сотрудничают в рамках концентраторов моделей: коллекций PTM и наборов данных, упорядоченных по проблемным областям. Концентраторы моделей теперь сопоставимы по популярности и размеру с другими программными экосистемами (например,Npm, PyPI). Однако соответствующая цепочка поставок PTM еще не исследовалась с точки зрения разработки программного обеспечения.

В этой работе мы представляем эмпирическое исследование артефактов и функций безопасности в 8-ми модельных концентраторах. Указываем модели потенциальных угроз и показываем, что существующих средств защиты недостаточно для обеспечения безопасности ПТМ. Мы сравниваем PTM и традиционные цепочки поставок и предлагаем направления для дальнейших измерений и инструментов для повышения надежности цепочки поставок PTM.

Наши результаты представляют три типа модельных концентраторов (открытые, закрытые и коммерческие) с различными свойствами безопасности в зависимости от типа. Мы суммируем две модели угроз и измеряем потенциальные риски в виде несоответствий моделей и охвата сопровождающего. Мы наблюдаем два основных различия между цепочкой поставок PTM и традиционной цепочкой поставок программного обеспечения: управление версиями и свойства безопасности.

Наш вклад:

  • Мы измеряем артефакты в 8 узлах моделей, определяем их типичные структуры и изображаем цепочку поставок PTM.
  • Мы указываем функции безопасности на различных концентраторах моделей и резюмируем модели угроз.
  • Мы показываем различия в версиях и рисках безопасности между цепочками поставок PTM и традиционными цепочками поставок.

Фон

Повторное использование предварительно обученных моделей (PTM)

Нейронные сети дорого разрабатывать и обучать, поэтому имеет смысл, чтобы инженеры-программисты попытались повторно использовать их, когда это возможно. На этом рисунке показаны различные методы повторного использования PTM, включая сжатие модели, перенос обучения, маркировку наборов данных и дистилляцию знаний:

Первоначально поставщик PTM обучает модель DL на наборе данных, чтобы создать контрольную точку модели. Этот PTM можно повторно использовать либо для той же задачи, либо для нового приложения.

Риски безопасности на PTM и с ними

Предыдущие исследования показывают, что могут быть состязательные атаки на PTM и с ними (см. предыдущий рисунок). Некоторые атаки напрямую нацелены на PTM — они могут изменить поведение моделей при вводе/выводе с помощью бэкдора/троянской атаки или добавить побочные эффекты путем внедрения вредоносного ПО в PTM во время обучения или логического вывода. Другие атаки, называемые атаками с отравлением данных, косвенно воздействуют на модель через набор обучающих данных.

Помимо этих специфичных для PTM атак, PTM включают множество традиционных программных компонентов и концепций повторного использования. Уязвимости, связанные с этим аспектом, называются уязвимостями цепочки поставок программного обеспечения.

Наша работа основана на знаниях из традиционной цепочки поставок программного обеспечения, и мы определяем их характеристики в контексте PTM.

Концентраторы моделей

Повторные пользователи PTM получают доступ к PTM разными способами. Некоторые PTM просто публикуются на GitHub. Другие доступны для покупки или через API. Однако один из наиболее распространенных способов доступа к PTM перекликается с практикой повторного использования в традиционной разработке программного обеспечения: концентраторы моделей, которые предлагают PTM, а также упаковку и метаданные, такие как автор.

Hugging Face (HF) — самая крупная такая модель хаба. На момент написания у него было 60 904 общедоступных PTM. Как показано на рисунке 1, самые популярные PTM в HF загружаются со скоростью, сравнимой с популярными пакетами в NPM и PyPI. Несмотря на широкое использование, центры моделей глубокого обучения находятся в зачаточном состоянии (самый ранний из них вышел в 2018 году). Систематического исследования артефактов и рисков безопасности в цепочке поставок PTM не проводилось.

Вопросы исследования

Характеристики и практика безопасных цепочек поставок PTM ранее не изучались. Предыдущая работа либо фокусируется на традиционных атаках на цепочку поставок программного обеспечения, либо рассматривает только фреймворки глубокого обучения, такие как PyTorch и TensorFlow, а не модели, созданные с их помощью.

Чтобы охарактеризовать цепочку поставок PTM, мы просим:

  1. Какова типичная структура модельных хабов?
  2. Какие методы используются для повышения безопасности пользователей концентраторов моделей?
  3. Каковы потенциальные угрозы в концентраторах моделей?

Результаты и обсуждение

Концентраторы моделей

Чтобы найти существующие концентраторы моделей, мы используем ключевые слова (например,, концентратор моделей машинного обучения, концентратор моделей глубокого обучения) в основной поисковой системе. Мы применяем три критерия к первоначальным результатам: определение концентратора модели, веб-сайт и доступность документации. Мы определили 8 моделей хабов, которые соответствуют нашим критериям.

Типы концентраторов моделей и рабочий процесс вклада

Мы делим эти хабы на три разных типа: открытые, закрытые и коммерческие. Типы определяются тем, как добавляются PTM. Например, в HuggingFace любой может загрузить и опубликовать PTM. Для TensorFlow Hub там будут опубликованы только те PTM, которые одобрены командой TensorFlow. В концентраторах коммерческих моделей PTM предлагаются только внутренними инженерами.

Измерение рисков

Мы оценили два потенциальных риска: охват обслуживающего персонала и расхождения моделей.

Риск № 1. Доступ к сопровождающему. Если учетные данные сопровождающего будут скомпрометированы, управляемые им PTM и наборы данных могут быть злонамеренно изменены. Чем больше артефактов они контролируют, тем выше риск для их пользователей. На следующем рисунке показано, что в хабе модели Hugging Face небольшое количество сопровождающих имеет доступ к непропорционально большому количеству репозиториев. Скомпрометировав одну из этих учетных записей, злоумышленники могут повлиять на сотни моделей и тем самым нанести ущерб цепочке поставок PTM.

Риск № 2. Несоответствия моделей. В идеале документация PTM должна правильно описывать его производительность. Таким образом, пользователь мог проверить производительность модели, которую он загружал, и определить, была ли модель каким-либо образом повреждена (например, превращена в EvilNet или BadNet) в какой-то момент во время распространения.

Мы проверили правильность заявлений о производительности, сделанных в документации PTM. Во-первых, мы были удивлены, обнаружив, что многие PTM фактически не содержат проверяемых утверждений. Из исследованных нами моделей 8/53 модели обнаружения объектов, 4/26 моделей классификации изображений и 136/160 моделей анализа тональности сделали заявления, которые мы могли подтвердить. Среди них намне удалось воспроизвести задокументированные характеристики большого количества PTM, как показано на следующем рисунке. Некоторые из рассмотренных нами моделей имели разницу в точности более 5%, даже если они были созданы крупными технологическими компаниями (например, Facebook/Meta). Наш результат показывает наличие несоответствий в производительности, которые могут либо снизить осведомленность пользователей, либо уменьшить обнаруживаемость известных атак PTM.

(Для международного сравнения см. статью моего студента Диего Монтеса на ESEC/FSE-IVR’22 здесь).

Подразумеваемое

Мы выделяем будущие работы в двух направлениях:

Эмпирическое исследование

Характеристики безопасности цепочки поставок PTM остаются недостаточно изученными. Мы призываем расширить наши знания о традиционном управлении цепочками поставок, чтобы охватить цепочки поставок программного обеспечения DL.

Автоматизированные инструменты

  • Аудит модели: проверка различных вариантов поведения PTM является необходимым подходом для проверки существующих PTM.
  • Сканирование моделей: для повышения безопасности концентраторов моделей необходимы специальные интегрированные инструменты сканирования для PTM.

Выводы

Цепочка поставок PTM станет важнейшим компонентом разработки программного обеспечения в течение следующего десятилетия. Мы рассмотрели 8 типовых узлов, предложили три типа образцовых узлов и описали цепочку поставок PTM. Наши данные показывают, что существуют значительные возможности для улучшения безопасности этих цепочек поставок.

Рекомендации

[1] Хиронобу Фудзиёси, Цубаса Хиракава и Такаёси Ямасита. 2019. Распознавание изображений на основе глубокого обучения для автономного вождения. IATSS Research 43 2019, 244–252.

[2] Ду, Мин и др. «Deeplog: обнаружение и диагностика аномалий из системных журналов с помощью глубокого обучения». Материалы конференции ACM SIGSAC 2017 года по компьютерной и коммуникационной безопасности. 2017.