Alibaba выпустила Wan2.7-Video — ИИ-систему, которая управляет всем процессом создания видео через текстовые команды на естественном языке, без ручного монтажа и настройки. Пользователь текстом задаёт действия персонажей, их реплики, стиль съёмки, освещение, движение камеры и визуальную атмосферу, а модель сама собирает из этого готовый ролик.
Генерируются короткие видео от 2 до 15 секунд в разрешении 720p и 1080p.
Внутри у Wan2.7-Video четыре отдельных модели с разными задачами. Wan2.7-t2v занимается преобразованием текста в видео, Wan2.7-i2v работает с изображениями на входе, Wan2.7-r2v опирается на эталонные визуальные материалы, а Wan2.7-videoedit берёт уже готовые ролики и редактирует их. На вход система принимает текст, графику, аудио и видео, что даёт возможность выстраивать последовательные сцены, где сюжет развивается логично от начала до конца.
Синхронизация речи и изображения — одна из главнейших особенностей модели. Движения губ подстраиваются под диалоги автоматически, индивидуальные особенности голосов сохраняются, а внешний вид персонажей остаётся согласованным на протяжении всей сцены.
Одновременно система держит в кадре до пяти персонажей, поддерживает больше пятидесяти эмоциональных состояний и работает с широким набором визуальных стилей.
Отдельный механизм отвечает за построение сюжетов. Он берёт простые вводные данные и разворачивает из них многослойные визуальные последовательности. В арсенале системы съёмка с дронов, панорамные сцены на 360 градусов и динамическое освещение, которое меняется в зависимости от контекста. Если пользователь задаёт финальный кадр, система сама выстраивает плавный переход к нему, без резких стыков и визуальных разрывов.
Корпоративным клиентам доступны API для автоматизации генерации видео и встройки модели в существующие рабочие процессы. Это открывает возможности для массового производства контента, рекламных материалов и мультимедийных проектов без участия монтажёров на каждом этапе.
Wan2.7-Video вышла вслед за Wan2.7-Image, моделью для генерации изображений с высокой детализацией, точной цветопередачей и расширенными возможностями персонализации персонажей. Обе системы работают в рамках платформы Model Studio от Alibaba Cloud и доступны через приложение Qwen.
