Дипфейки — это неотличимые изображения, синтезированные человеком, созданные с использованием алгоритмов глубокого обучения. Проще говоря, мы можем сказать, что дипфейки — это морфированные видео, которые в основном создаются для плохих целей.

Дипфейки создаются с использованием различных инструментов глубокого обучения, таких как Faceswap, Faceit и т. д.

Основная цель создания дипфейков

  • может заключаться в распространении фейковых новостей, создании мистификаций вокруг аудитории
  • это также может быть попытка притвориться кем-то другим и совершить финансовое мошенничество.
  • Это может быть использовано для клеветы на репутацию известной личности, такой как знаменитость или политик, путем создания необычных видеороликов и публикации их в Интернете.

Сегодня мы рассмотрим код, который я разработал для обнаружения дипфейков с использованием CNN для извлечения признаков и временного анализа LSTM. Вы можете найти исходный код здесь.

Мы будем делить код на три части.

  • В первой части мы рассмотрим этап предварительной обработки модели. На этом этапе мы загрузим набор данных, разделим видео на кадры, обрежем лицо из каждого кадра и сохраним видео с обрезанным лицом.

  • После выполнения предварительной обработки пришло время обучить модель глубокого обучения. На этом этапе мы предварительно обработаем видео и метки из файла CSV, создадим модель PyTorch, используя трансферное обучение с RestNext50 и LSTM, разделим данные на обучающие и тестовые данные, обучим модель, протестируем модель, сохраним модель в формате . пт файл.

  • Теперь наша модель обучена и готова, теперь пришло время делать прогнозы на этапе прогнозирования. Мы загрузим сохраненную модель PyTorch и предскажем результат на основе обученных весов.

В конце серии пошаговых руководств по коду вы сможете обучить свою собственную модель дипфейка и предсказать результат.

Мы также разработали приложение Django, чтобы продемонстрировать использование модели для прогнозирования в реальном времени.

Надеюсь, вы в восторге от серии пошаговых руководств по коду, как и я. Следите за дальнейшими сообщениями.