Обнаружение нарушений rPPG-сигналов в дипфейках

Remote Photoplethysmography (rPPG) — это технология бесконтактного измерения физиологических сигналов человека по видеозаписи. Изначально метод создавался для оценки пульса через обычную камеру, но позже стал одним из важных инструментов обнаружения дипфейков.

Основная идея очень проста:

Когда сердце перекачивает кровь, объем крови в капиллярах лица слегка меняется. Это вызывает микроскопические изменения отраженного света от кожи. Человеческий глаз их не замечает, но алгоритмы компьютерного зрения могут извлечь эти изменения из видеопотока и восстановить сигнал сердцебиения.

Для настоящего человека физиологический сигнал присутствует всегда, однако его качество извлечения зависит от условий съемки. В синтетических видео rPPG-сигнал часто отсутствует, искажается или демонстрирует физиологически неправдоподобные характеристики.

Почему дипфейки плохо проходят rPPG

Большинство генеративных моделей обучаются воспроизводить -

форму лица, мимику, движения губ, моргание. Но, они обычно не моделируют - кровоток, сосудистые изменения, физиологические процессы. Поэтому при анализе возникают артефакты.

Признак 1. Отсутствие пульсового сигнала

В некоторых дипфейках спектр выглядит как шум:

Настоящее лицо:

пик на 75 bpm

Дипфейк:

хаотический спектр

без выраженного пика

Признак 2. Несогласованность областей лица

У живого человека:

лоб,

правая щека,

левая щека

показывают одинаковый пульс.

Например:

Лоб: 72 bpm

Правая щека: 73 bpm

Левая щека: 71 bpm

У дипфейка:

Лоб: 62 bpm

Правая щека: 91 bpm

Левая щека: 47 bpm

что физиологически маловероятно.

Источник: Хабрахабр