Разработана новая технология создания дипфейков CihaNet

Китайская исследовательская группа и исследователи из США в сфере технологий искусственного интеллекта разработали новую технологию для создания дипфейков CihaNet. Предположительно, разработка может превзойти все предыдущие подходы.

Дипфейк — реалистичная подмена фото-, аудио- и видеоматериалов, созданная с помощью нейросетей. Когда вы смотрите видео, где у модели Dior лицо мистера Бина, а все роли во «Властелине колец» играет Арнольд Шварценеггер — это и есть дипфейк.

Новый метод может выполнять смену лиц без необходимости исчерпывающего сбора и курирования больших выделенных наборов данных и обучения их в течение недели только для одной личности. Новые разработанные модели обучались на двух популярных наборах данных о знаменитостях на одном графическом процессоре NVIDIA Tesla P40 в течение примерно трех дней.

Новый подход устраняет необходимость грубо внедрять образ человека в целевое видео, что часто приводит к характерным артефактам. Так называемые hallucination maps («карты галлюцинаций») используются для более глубокого смешивания визуальных аспектов, потому что система отделяет идентичность от контекста гораздо эффективнее, чем существующие методы.

Самое известное в настоящее время программное обеспечение для дипфейков DeepFaceLab и конкурирующий форк FaceSwap выполняют сложные и часто вручную настраиваемые рабочие процессы для определения того, в какую сторону наклонено лицо, какие препятствия находятся на пути, и пр. В отличие от данных технологий, CihaNet не требует обращения лиц прямо в камеру для извлечения и использования полезной идентификационной информации.

Новая архитектура напрямую использует «контекстную» информацию для самого процесса преобразования посредством двухэтапной операции каскадной адаптивной нормализации экземпляра (C-AdaIN), которая обеспечивает согласованность контекста (то есть кожи лица и окклюзий) ID-соответствующие области.

Исследователи обучили четыре модели на двух очень популярных и разнообразных наборах данных открытых изображений ( CelebA-HQ и NVIDIA Flickr-Faces-HQ Dataset ), каждый из которых содержит 30 тыс. и 70 тыс. изображений соответственно.

Затем эксперты отрендерили серию случайных обменов между тысячами личностей, представленных в наборах данных, независимо от того, были ли лица похожими или даже совпадающими по полу, и сравнили результаты CihaNet с результатами четырех ведущих фреймворков дипфейка: FaceSwap , FaceShifter , FSGAN и SimSwap .

По словам исследователей, новая модель превзошла всех конкурентов. При оценке результатов использовались три показателя: структурное сходство, ошибка оценки позы и точность извлечения идентификатора, которая вычисляется на основе процента успешно извлеченных пар.

По материалам securitylab

Тэги: наука, дипфейк

Комментарии

Выбор редакции
Расшифровка прогноза от The Economist на 2022 год: победа республиканцев, конец эпохи вакцинации и много крови
Расшифровка прогноза от The Economist на 2022 год: победа республиканцев, конец эпохи вакцинации и много крови
Расшифровка прогноза от The Economist на 2022 год: победа республиканцев, конец эпохи вакцинации и много крови
Расшифровка прогноза от The Economist на 2022 год: победа республиканцев, конец эпохи вакцинации и много крови
Будущее Зеленского: впереди фаза презрения и отвращения
Будущее Зеленского: впереди фаза презрения и отвращения
В ближайшее время Зеленского попытаются свергнуть. Процесс уже стартовал
В ближайшее время Зеленского попытаются свергнуть. Процесс уже стартовал
Всю правду о вакцине Pfizer мы узнаем... через 55 лет
Всю правду о вакцине Pfizer мы узнаем... через 55 лет
Пора обналичивать деньги! К чему нас ведет введение лимитов на переводы в Приватбанке
Пора обналичивать деньги! К чему нас ведет введение лимитов на переводы в Приватбанке
Почему в Украине воспитывают образованных обезьянок, а не мыслящих людей
Почему в Украине воспитывают образованных обезьянок, а не мыслящих людей
Как включить VPN, чтоб открыть незаконно заблокированные сайты. Инструкция
Как включить VPN, чтоб открыть незаконно заблокированные сайты. Инструкция
Украина в крови. Новый крестовый поход Католической церкви. Начало
Украина в крови. Новый крестовый поход Католической церкви. Начало
Шокирующая исповедь о практиках медитации
Шокирующая исповедь о практиках медитации
Масоны раскрыли свой самый главный секрет
Масоны раскрыли свой самый главный секрет
fraza.com
Все новости
Главное
Популярное
В центре Киева эвакуатор забрал элитный спорткар
В центре Киева эвакуатор забрал элитный спорткар
В центре Киева эвакуатор забрал элитный спорткар
В центре Киева эвакуатор забрал элитный спорткар
Милевский прокомментировал свое задержание в киевском ресторане
Милевский прокомментировал свое задержание в киевском ресторане
Под носом у Зеленского деревья падают на припаркованные автомобили
Под носом у Зеленского деревья падают на припаркованные автомобили
Опубликовано видео взрыва метеорита над популярным российским курортом
Опубликовано видео взрыва метеорита над популярным российским курортом
Избран новый канцлер Германии
Избран новый канцлер Германии
Появилось фото Омикрона
Появилось фото Омикрона
В Одессе пьяный водитель зажал руку полицейского дверьми и потащил его по дороге
В Одессе пьяный водитель зажал руку полицейского дверьми и потащил его по дороге
В Запорожье школьницы жестоко избили трех девочек-подростков
В Запорожье школьницы жестоко избили трех девочек-подростков
Украинский фильм официально попал в лонг-лист премии «Оскар»
Украинский фильм официально попал в лонг-лист премии «Оскар»
Появилась первая песня Евровидения-2022
Появилась первая песня Евровидения-2022
fraza.com

Опрос

Чем закончится война Ахметова с Зеленским (Коломойским)?