За годы, прошедшие с момента появления первых ИИ-моделей в конце 2022 года, видео созданное с помощью искусственного интеллекта продвинулось невероятно далеко, увеличив реалистичность, разрешение, точность, соответствие подсказкам (насколько хорошо они соответствуют текстовой подсказке или описанию видео, которое набирает пользователь) и количество.

Но одна область, которая по-прежнему является ограничением для многих создателей видео – это изображение реалистичной мимики у персонажей, созданных при помощи ИИ. Большинство из них выглядят довольно скудными и трудно контролируемыми.

Однако теперь это не так: Runway, нью-йоркский ИИ-стартап, поддерживаемый Google и другими компаниями, объявил о новой разработке под названием Act-One, которая помогает пользователям записывать себя или актёров на любую видеокамеру, даже на смартфон, и затем с невероятной точностью передавать мимику персонажа, сгенерированного ИИ.

Бесплатный инструмент будет постепенно предоставляться пользователям, начиная с сегодняшнего дня, говорится в блоге Runway. Хотя доступ к нему может получить каждый, у кого есть аккаунт Runway, он будет доступен только тем, у кого достаточно кредитов для создания новых видеороликов на модели генерации видео Gen-3 Alpha.

В прошлом месяце Runway перешла на голливудский уровень кинопроизводства, объявив о заключении сделки с Lionsgate, студией, стоящей за кинофраншизами «Джон Уик» и «Голодные игры», на создание индивидуальной модели генерации ИИ-видео на основе каталога студии, насчитывающего более 20 000 наименований.

Традиционно лицевая анимация требует обширных и зачастую трудоёмких процессов, включая оборудование для захвата движения, ручную правку лица и множество референсных кадров.

Любой человек, интересующийся кинематографом, наверняка сталкивался с некоторыми сложностями и трудностями этого процесса на съёмочной площадке или при просмотре закулисных съёмок фильмов с большим количеством эффектов и захватом движения, таких как «Властелин колец», «Аватар» или «Восстание планеты обезьян», где актёры покрыты маркерами в виде шариков для пинг-понга, а их лица перекрыты аппаратами, установленными на голове.

Точное моделирование сложной мимики – это то, что заставило Дэвида Финчера и его съемочную группу фильма «Загадочная история Бенджамина Баттона» разработать совершенно новые процессы 3D-моделирования и в итоге принесло им «Оскар».

Однако за последние несколько лет новые стартапы, основанные на программном обеспечении и искусственном интеллекте попытались сократить количество оборудования, необходимого для точного захвата движений. Одна из них – Runway больше ориентированная на моделирование мимики.

С помощью Act-One Runway стремится сделать этот сложный процесс гораздо более доступным. Новый инструмент позволяет создателям анимировать персонажей в различных стилях и дизайнах, без необходимости использования оборудования для захвата движения или риггинга персонажей.

Теперь пользователи могут воспользоваться простым видеороликом, чтобы перенести исполнение (включая мимику глаз, микровыражение и нюансы движения) на созданного персонажа или даже на несколько персонажей в разных стилях.

Подход Runway предлагает значительные преимущества как для аниматоров, так и для разработчиков игр и режиссёров. Модель точно передаёт глубину игры актёра, оставаясь при этом универсальной для различных дизайнов и пропорций персонажей. Это открывает потрясающие возможности для создания уникальных характеров, выражающих подлинные эмоции и индивидуальность.

Модель также превосходно справляется с созданием кинематографических и реалистичных изображений и отличается удивительной устойчивостью при различных углах обзора камеры, сохраняя при этом высокую точность анимации лица. Эта возможность позволяет авторам создавать правдоподобных персонажей, передающих подлинные эмоции и экспрессию, усиливая связь зрителя с контентом.

Как и прошлые релизы, команда стремится к ответственной разработке и внедрению. Разработчики выпускают новый инструмент с полным набором мер по модерации контента и обеспечению безопасности, включая:

  • Ещё более надёжные возможности для обнаружения и блокировки попыток создания контента, содержащего публичных персон;
  • Технические меры для проверки того, что конечный пользователь имеет право использовать голос, который он создаёт с помощью «Пользовательских голосов»; и
  • Постоянный мониторинг для обнаружения и смягчения последствий других потенциальных злоупотреблений инструментами и платформой.

По мере того как Act-One будет постепенно распространяться, Runway с нетерпением ждёт, как художники, режиссёры и другие творцы будут использовать новый инструмент для воплощения своих идей в жизнь.

С Act-One сложные техники анимации станут доступными для более широкой аудитории творческих людей, что позволит им открыть для себя новые формы повествования и художественного выражения.

Снижая технические барьеры, традиционно связанные с анимацией персонажей, компания надеется вдохновить новых людей на творчество в цифровых медиа.

Ещё по теме: