Новый алгоритм выявляет подмену лиц в видеосюжете (видео)

Инженеры Мюнхенского технологического университета придумали алгоритм XceptionNet, умеющий распознавать подмену лиц в видеосюжетах. Чтобы обучить программу, разработчики сгенерировали датасет, включающий полмиллиона изображений. В роли исходников использовали тысячу видео, созданных с применением алгоритма face2face.

Как известно, современные нейронные сети умеют подменять лица не только на фотографиях, но и на видео. Обработка кадров вручную теперь не требуется, всё делается автоматически. Конечно, работает это не совсем идеально, но в целом система способна выдавать весьма правдоподобный результат. Например, алгоритм face2face довольно реалистично переносит лицо человека на новый видеосюжет, сняв с него маску в другом сюжете. С подобной задачей научились справляться и другие натасканные алгоритмы. Причём люди используют технологию не в благих целях. Вспомнить хотя бы волну с фейковыми порнороликами якобы с лицами знаменитостей.

Поэтому вполне естественно родилось желание создать систему, способную распознать подлог. Алгоритм, предложенный командой Маттиаса Ниснера, позволяет разоблачить подделки, произведенные face2face.


В чем суть работы XceptionNet? Для начала создали фейковые видео. Далее алгоритм натаскивали по методикам глубокого обучения. Отмечают, что он превосходит любые существующие алгоритмы в разы даже если оценивать сжатые видео. Выяснилось, что для распознавания достаточно картинки 128х128 пикселей, точность определения достигает 99%.

Источник: arxiv.org