«Дисней» занялся дипфейками
Совместно с Высшей технической школой Цюриха студия ведет исследования технологии наложения лиц различных актеров с намерением использовать этот эффект в своих фильмах.
Первые результаты такого наложения, представленные в видеопрезентации, выглядят достаточно убедительно, и можно ожидать, что в ближайшее время технология будет использована в настоящих фильмах. Например, для создания эффекта омоложения актеров — сейчас это делают с помощью трехмерной компьютерной графики, что требует затраты значительных ресурсов и при этом результат выглядит не вполне реалистично.
Теоретически, технологию дипфейков можно использовать и для воссоздания уже умерших. В девятом эпизоде «Звездных войн» «Дисней» уже воссоздавал лицо актрисы Кэрри Фишер, но также с помощью компьютерной графики. С новой технологией это может стать значительно проще.
При создании дипфейков была использована генеративно-состязательная сеть, которая по ключевым точкам на лице сгенерировала максимально реалистичную анимацию. Кроме того, была интегрирована функция, сглаживающая дрожания и изменения перспективы, что также повысило убедительность иллюзии.
Подробнее об исследовании и механизме работы алгоритма можно прочитать в публикации «High-Resolution Neural Face Swapping for Visual Effects».