Как сообщает The Verge, британская компания Flawless с помощью программного обеспечения TrueSync будет использовать те же инструменты, что и в дипфейк-видео. Однако система сконцентрируется только на движениях рта актера.
Новый ИИ заставит актеров идеально разговаривать на иностранных языках
Плохая синхронизация губ при дублировании и субтитры могут отпугнуть аудиторию и подорвать кассовые сборы иностранных фильмов. Теперь компания Flawless нашла решение этой проблемы. Инженеры Flawless разработали инструмент на основе искусственного интеллекта (ИИ), который способен точно воссоздать синхронизацию губ при дубляже, не влияя на игру актеров.
Flawless
Новая система на основе ИИ поможет сделать идеальный дубляж для любого фильма
Работает это так: заказчик загружает в программное обеспечение компании видео из фильма или телешоу, а также дублированные диалоги, записанные людьми. После этого система генерирует новые движения губ, соответствующие переведенной речи, и автоматически интегрирует их в лицо актера.
Создатели алгоритма говорят, что они могли бы даже использовать эту технологию, чтобы вставить новые строки в уста актера.
На официальном сайте Flawless можно посмотреть вдохновляющий ролик, в котором сцены из разных фильмов показаны практически в идеальном переводе. Актеры говорят на французском, немецком или японском языках несмотря на то, что фильмы были сняты на английском.
Разработчики считают, что в будущем эта технология может сделать бесполезной категорию «лучший фильм на иностранном языке» на таких кинопремиях, как «Оскар».