Авторы статьи: Уён Джанг, Си Ву, Сомеш Джа.
Перед тем, как начать краткое изложение статьи, я хотел бы упомянуть, почему нам нужно неблагоприятное обучение и почему оно важно? Например, давайте предположим, что автомобиль с автоматическим управлением может обнаруживать и читать дорожные знаки. Если один из знаков не распознается автомобилем, это может быть опасно для водителя и может привести к смерти. Следовательно, распознавание знаков или классификация знаков становятся решающими в этом сеньорио. Кроме того, человеческий глаз может обнаруживать и понимать эти признаки лучше, чем машины, поэтому с помощью неблагоприятного обучения мы можем использовать доступные данные модели и использовать их для разработки подозрительных атак, чтобы сбить машину с толку и найти лучшее решение.
Также я хотел бы кратко объяснить тематическое предложение, чтобы прояснить, что происходит в статье. Давайте разделим наше тематическое предложение на три части.
Что такое объективные метрики: в контексте машинного обучения метрика — это любое число, которое нас волнует, а цель — оптимизировать определенный тип меры.
Что такое градиентный спуск: Градиентный спуск — это подход к оптимизации для поиска локального минимума дифференцируемой функции.
Что такое состязательные примеры: набор специализированных входных данных, предназначенных для того, чтобы запутать нейронную сеть.
В статье основное внимание уделяется состязательным выборочным атакам, которые представляют собой входные данные, создаваемые путем добавления часто незаметных возмущений в модель машинного обучения для неправильной классификации.
Цель исследования: авторы описывают основанный на градиентном спуске метод обнаружения враждебных выборок, который превосходит предыдущие алгоритмы, а также обращаются к метрикам исследования, которое представляет собой новый подход к оценке качества враждебных выборок, который на основе нескольких методов компьютерного зрения.
Что сделал автор?
Они разработали алгоритм, который называется Newton Fool. И этот алгоритм успешно находит небольшие враждебные возмущения для использованных тестовых данных. Более того, разработанный ими алгоритм значительно снизил доверительную вероятность.
На самом деле ответ очень короткий и простой, поскольку более низкий доверительный интервал позволяет получить более точные оценки населения.
Методы, которые используются в метриках
Псевдообратная Мура-Пенроуза
Итак, еще раз, что такое псевдообратная Мура-Пенроуза? На самом деле это просто самое известное обобщение обратной матрицы. Псевдоинверсия часто используется для поиска «наилучшего решения» (наименьших квадратов) системы.
Детекторы Canny Edge
Обнаружение краев — это подход к обработке изображений, который идентифицирует точки цифрового изображения с неоднородностями или внезапными изменениями яркости изображения. Для лучшего решения проблемы обнаружения краев следует удалить шум изображения, который представляет собой тип электронного шума, который вызывает непредсказуемые изменения яркости или цветовой информации в изображениях, создаваемых датчиком изображения и электроникой.
σ -› стандартное отклонение распределения
x и y –> индексы местоположения
Одно из решений для удаления шума с изображения называется размытием по Гауссу.
Следующим шагом после удаления шума изображения является вычисление градиентов интенсивности путем скручивания с помощью фильтров Собеля.
Gx = фильтр Собеля для x
Gy = фильтр Собеля для y
я = изображение
G = величина градиента
Тета = направление каждого пикселя
Что такое фильтр Собеля, что на самом деле подразумевается под фильтром Собеля? Он вычисляет градиент интенсивности изображения для каждого пикселя внутри изображения. Он определяет направление и темп изменения наиболее значительного увеличения от светлого к темному. Formülü oku ve acıkla
Градиенты обрабатываются детектором с помощью гистерезисного порога. Что на самом деле означает hysteris tresholding? hysteris tresholding означает, что области выше указанного нижнего порогового значения или выше определенного высокого порогового значения.
1) Определите сильное преимущество и слабое преимущество
2) При гистерезисной пороговой обработке с подавлением всех некраев (пикселей с градиентом ниже низкого).
3) Затем детектор краев проверяет подлинность каждого слабого края в зависимости от его окружения.
4) Слабые ребра, у которых есть хотя бы одно сильное соседнее ребро, будут обнаружены как настоящие ребра, а остальные будут подавлены.
5) Нижний и верхний пороговые значения оказывают значительное влияние на производительность детектора краев Кэнни, и эти параметры следует изменять в соответствии с качеством входного изображения.
6) Существует множество эвристик для определения порогов, и в нашем эксперименте мы используем следующие эвристики.
MNIST
Начнем с MNIST — это база данных с огромной библиотекой рукописных цифр, которая часто используется для обучения системы обработки изображений.
Авторы искали правильные пороговые значения, основываясь на опыте, и взяли high_theta = 2*low_theta.
ГТСРБ
Немецкий тест распознавания дорожных знаков (GTSRB) включает 43 различных типа дорожных знаков, разделенных на почти 40 000 обучающих и 13 000 тестовых изображений. На фотографиях используется разное освещение и различные настройки.
Преобразование Фурье
В этом методе преобразования мы собираем данные, но отображаем их по-другому. Зачем нам это надо ? Например, когда мы заходим на веб-сайт, веб-сайт выполняет небольшой тест, как показано ниже. Машины не могут понимать рукописные форматы, как люди, поэтому им необходимо преобразовывать данные, чтобы повысить их точность. (В волнах)Спектральный анализ – это подход к обработке сигналов, при котором сигналы преобразуются в частотные функции, а не оцениваются непосредственно во временной или пространственной области.
Это предоставит нам особенности изображения.
Гистограмма ориентированных градиентов
Гистограмма ориентированных градиентов, используемая для обнаружения объектов с использованием для повышения общей точности, каждый локальный набор ближайших гистограмм нормализуется в направлениях градиента. HOG начинается с вычисления градиента для каждого пикселя. HOG применяет к входному изображению следующие одномерные фильтры.
Существующие алгоритмы создания враждебных образцов
•C -> Набор меток класса
• L → Цель, которую хочет злоумышленник (l ∈ C)
• C − {F (x)} → Целевая ошибка классификации
НьютонДурак
Цель – решить линейную систему для
di : pi + gi · di = pi+1.
Переменная упоминается в NewtonFool
•di -> (x − xi) возмущение, вводимое на итерации I
•pi -> Fls (x) — текущая вероятность доверия xi
•gi -> ∇Fls (xi) — градиент Fls в точке xi
•F(x) -> классификатор
•Fs -> вывод softmax
• Fsl -> цель, которую хочет злоумышленник, которая будет скалярной функцией
• δi → pi − pi+1 — уменьшение вероятности.
• gi † → Обратное число Мура-Пенроуза к gi
•1/| С | → Вероятность успеха (распределение полиномиальной вероятности прогнозируется с использованием слоя моделей нейронных сетей.)
- Эпсилон → пороговое значение ошибки)
- δi → pi − pi+1 — уменьшение вероятности.
- gi † → Обратное число Мура-Пенроуза к gi
1. Давайте предположим, что у нас есть классификатор F(x) и вывод softmax Fs доступен злоумышленнику.
2. Определите цель, которую хочет злоумышленник, которая будет скалярной функцией с именем Fsl.
3. Цель метода – как можно быстрее уменьшить значение функции Fsl до 0.
4. Если вероятность метки l падает ниже определенного порога (Fls (x) ‹ Epsilon ). Мы используем подход Ньютона для решения нелинейных уравнений, чтобы решить эту проблему.
5. pi+1 ‹ pi перейти к следующей итерации
5.1) Выбор pi+1 — -› pi+1 ‹ 1/| С | чтобы «обмануть» классификатор в другой класс.
6.Вычислить ди
Что такоевывод Softmax? Это вероятность членства в классе для каждой метки класса, а затем попытаться наилучшим образом соответствовать ожидаемой цели для данного ввода.
Для «обмана» классификатора в другой класс. Поэтому у нас есть верхняя граница δi , а именно, мы хотим малое возмущение, что означает, что ∥ d ∗ i ∥ мало.
Эксперименты
Снижение уверенности NewtonFool до и после атак. Налицо снижение уверенности, а выше ясно видно, что вероятность успеха, которую хотел бы достичь NewtonFool, удовлетворяется.
Решения
1. NewtonFool почти в 50 раз быстрее, чем DeepFool и в 800 раз быстрее, чем JSMA, и лишь немного медленнее, чем FGSM.
2. NewtonFool не только эффективен в создании хороших противоборствующих возмущений, но также значительно снижает доверительную вероятность правильного класса.
3. Основное возможное преимущество — более быстрая сходимость к состязательному примеру.
Ссылки
https://en.wikipedia.org/wiki/Adversarial_machine_learning
https://www.sciencedirect.com/topics/engineering/gaussian-blur
https://www.cs.auckland.ac.nz/courses/compsci373s1c/PatricesLectures/Edge%20detection-Sobel_2up.pdf
«БАЗА ДАННЫХ MNIST рукописных цифр». Ян ЛеКун, Институт Куранта, Нью-Йоркский университет, Коринна Кортес, Google Labs, Нью-Йорк, Кристофер Дж. К. Берджес, Microsoft Research, Редмонд.
https://www.tensorflow.org/tutorials/generative/adversarial_fgsm
Находится на рассмотрении в качестве доклада конференции на ICLR 2018 ОБНАРУЖЕНИЕ ПРОТИВОПОЛОЖНЫХ ПЕРТУРБАЦИИ С ЗАМЕЧАТЕЛЬНОСТЬЮ Анонимные авторы Документ, прошедший двойное слепое рецензирование https://openreview.net/pdf?id=HJFcmshbM
https://machinelearningmastery.com/softmax-activation-function-with-python/
