Для тех, кому чтение субтитров в иностранном фильме кажется слишком утомительным, фильмы часто дублируются на разные языки. Но это может не менее отвлекать, если движения рта актера совершенно не синхронизировано с тем, что он говорит. Именно поэтому компания Flawless создала решение на основе искусственного интеллекта, которое заменяет мимику актера, чтобы она соответствовала словам в фильме, дублированном для иностранной аудитории.
Есть довольно много очень веских причин для беспокойства по поводу использования инструментов искусственного интеллекта и нейронных сетей для создания фейковых фото- и видеоматериалов. И хорошо, что подобные инструменты могут быть использованы не только для дискредитации людей, но и обладают большим потенциалом для других целей. Например, в использовании для кинематографа.
Такие инструменты также становятся все проще в использовании благодаря постоянным прорывам в области обработки изображений с помощью искусственного интеллекта. Когда-то удаление объектов вручную в видеоклипе было очень трудоемким процессом, требующим сложной маскировки и покадровой настройки, но теперь это стандартная и автоматизированная функция в Adobe After Effects.
Deepfake для кинематографа
Компания Flawless обещает, что ее программное обеспечение TrueSync будет использовать те же инструменты, что и для создания deepfake-видео. ИИ займётся корректировкой лица актера в фильме таким образом, чтобы движения его рта и, в свою очередь, мышц лица более точно соответствовали тому, как они двигались бы при оригинальном исполнении на языке, который слышит иностранная аудитория. Таким образом, даже если актер снимался в фильме на английском языке, для зрителя в Берлине, смотрящего фильм с немецким дубляжом, будет казаться, что все актеры говорят по-немецки.
Компания представила на своем сайте несколько примеров того, на что способен инструмент TrueSync. На видео ниже вы можете посмотреть пример того как Форрест Гамп может разговаривать на безупречном японском языке.
Естественно, технология всё еще далеко не совершенна. Можно даже сказать, что она находится в зачаточном состоянии. Но пройдёт немного времени, мы уверены, живую актёрскую игру уже будет не отличить от обработанным нейросетью фильмом.