Американская компания Runway AI выпустила новое поколение своей нейросети для генерации видео — Gen-4. Основной акцент сделан на согласованность: модель умеет удерживать единый стиль, персонажей и объекты на протяжении всего видео, что особенно важно при создании сцен с кинематографической логикой. Новинка уже доступна подписчикам Runway, а в ближайшие дни появится новая функция для улучшения сцепленности между клипами.
Пользователи смогут создавать ролики длиной 5 и 10 секунд в разрешении 720p. Это важный шаг вперёд по сравнению с первыми экспериментами Runway в 2023 году, когда модель генерировала трёхсекундные фрагменты с заметными артефактами. Теперь конкуренция усилилась: на рынок вышли OpenAI с Sora и стартап Pika. Runway старается удержать лидерство в гонке ИИ-видеогенерации.
Генеральный директор и сооснователь Runway Крис Валенсуэла рассказал Bloomberg, что целью компании стало достижение качества, подходящего для профессионалов киноиндустрии.
«Сейчас мы перешагнули тот порог, когда ИИ-видео становится чем-то, что может заинтересовать Голливуд», — сказал он.
В качестве примера Runway показала два коротких ролика, созданных на Gen-4. Один из них выполнен в стиле пластилиновой анимации и рассказывает о маленьком костре, который хочет подружиться и случайно обжигает скунса, прежде чем находит друга в виде камня. Сцена была собрана из сотен сгенерированных фрагментов, созданных всего за несколько часов. Финальный монтаж с озвучкой занял пару дней.
Хотя полностью избавиться от артефактов пока не удалось — в некоторых кадрах всё ещё можно заметить нарушения физики и странности в отображении тел — по сравнению с предыдущими поколениями модель стала гораздо стабильнее.
Валенсуэла отметил, что ключевое улучшение Gen-4 — способность удерживать «контекст» видео: композицию сцены, внешний вид персонажей и обстановку. Технические детали компания пока не раскрывает, но известно, что при обучении модель адаптировали под киношную терминологию, чтобы авторам было проще формулировать промты.
Runway уже используется в реальных проектах: с её помощью создавались сцены для сериала Amazon «Дом Давида», визуальные элементы для тура Мадонны, реклама Puma, а также материалы для Lionsgate.
Ещё по теме: