Китайская исследовательская группа и исследователи из США в сфере технологий искусственного интеллекта разработали новую технологию для создания дипфейков CihaNet. Предположительно, разработка может превзойти все предыдущие подходы.

Дипфейк — реалистичная подмена фото-, аудио- и видеоматериалов, созданная с помощью нейросетей. Когда вы смотрите видео, где у модели Dior лицо мистера Бина, а все роли во «Властелине колец» играет Арнольд Шварценеггер — это и есть дипфейк.

Новый метод может выполнять смену лиц без необходимости исчерпывающего сбора и курирования больших выделенных наборов данных и обучения их в течение недели только для одной личности. Новые разработанные модели обучались на двух популярных наборах данных о знаменитостях на одном графическом процессоре NVIDIA Tesla P40 в течение примерно трех дней.

Новый подход устраняет необходимость грубо внедрять образ человека в целевое видео, что часто приводит к характерным артефактам. Так называемые hallucination maps («карты галлюцинаций») используются для более глубокого смешивания визуальных аспектов, потому что система отделяет идентичность от контекста гораздо эффективнее, чем существующие методы.

Самое известное в настоящее время программное обеспечение для дипфейков DeepFaceLab и конкурирующий форк FaceSwap выполняют сложные и часто вручную настраиваемые рабочие процессы для определения того, в какую сторону наклонено лицо, какие препятствия находятся на пути, и пр. В отличие от данных технологий, CihaNet не требует обращения лиц прямо в камеру для извлечения и использования полезной идентификационной информации.

Новая архитектура напрямую использует «контекстную» информацию для самого процесса преобразования посредством двухэтапной операции каскадной адаптивной нормализации экземпляра (C-AdaIN), которая обеспечивает согласованность контекста (то есть кожи лица и окклюзий) ID-соответствующие области.

Исследователи обучили четыре модели на двух очень популярных и разнообразных наборах данных открытых изображений ( CelebA-HQ и NVIDIA Flickr-Faces-HQ Dataset ), каждый из которых содержит 30 тыс. и 70 тыс. изображений соответственно.

Затем эксперты отрендерили серию случайных обменов между тысячами личностей, представленных в наборах данных, независимо от того, были ли лица похожими или даже совпадающими по полу, и сравнили результаты CihaNet с результатами четырех ведущих фреймворков дипфейка: FaceSwap , FaceShifter , FSGAN и SimSwap .

По словам исследователей, новая модель превзошла всех конкурентов. При оценке результатов использовались три показателя: структурное сходство, ошибка оценки позы и точность извлечения идентификатора, которая вычисляется на основе процента успешно извлеченных пар.

По материалам securitylab