Дипфейки — это неотличимые изображения, синтезированные человеком, созданные с использованием алгоритмов глубокого обучения. Проще говоря, мы можем сказать, что дипфейки — это морфированные видео, которые в основном создаются для плохих целей.
Дипфейки создаются с использованием различных инструментов глубокого обучения, таких как Faceswap, Faceit и т. д.
Основная цель создания дипфейков
- может заключаться в распространении фейковых новостей, создании мистификаций вокруг аудитории
- это также может быть попытка притвориться кем-то другим и совершить финансовое мошенничество.
- Это может быть использовано для клеветы на репутацию известной личности, такой как знаменитость или политик, путем создания необычных видеороликов и публикации их в Интернете.
Сегодня мы рассмотрим код, который я разработал для обнаружения дипфейков с использованием CNN для извлечения признаков и временного анализа LSTM. Вы можете найти исходный код здесь.
Мы будем делить код на три части.
- В первой части мы рассмотрим этап предварительной обработки модели. На этом этапе мы загрузим набор данных, разделим видео на кадры, обрежем лицо из каждого кадра и сохраним видео с обрезанным лицом.
- После выполнения предварительной обработки пришло время обучить модель глубокого обучения. На этом этапе мы предварительно обработаем видео и метки из файла CSV, создадим модель PyTorch, используя трансферное обучение с RestNext50 и LSTM, разделим данные на обучающие и тестовые данные, обучим модель, протестируем модель, сохраним модель в формате . пт файл.
- Теперь наша модель обучена и готова, теперь пришло время делать прогнозы на этапе прогнозирования. Мы загрузим сохраненную модель PyTorch и предскажем результат на основе обученных весов.
В конце серии пошаговых руководств по коду вы сможете обучить свою собственную модель дипфейка и предсказать результат.
Мы также разработали приложение Django, чтобы продемонстрировать использование модели для прогнозирования в реальном времени.
Надеюсь, вы в восторге от серии пошаговых руководств по коду, как и я. Следите за дальнейшими сообщениями.