ElevenLabs представила две модели синтеза речи — Eleven v4 и Eleven v4 Turbo. Они точнее управляют интонацией и эмоциями, поддерживают более 90 языков и работают с меньшей задержкой в голосовых ИИ-агентах. Eleven v4 нацелена на выразительную речь, а Turbo рассчитана на работу в реальном времени.
Eleven v4 лучше учитывает контекст при озвучке и подстраивает темп, интонацию и эмоциональную подачу под ситуацию, сохраняя характер голоса. Модель доработали для длинных текстов и диалогов с несколькими персонажами, так что она пригодится при создании аудиокниг.
В прошлой версии появились теги для управления выражением речи, и пользователь мог писать на естественном языке команды вроде «смеётся» или «шёпотом». В v4 система лучше следит за последовательностью таких команд и умеет сочетать несколько тегов в одной генерации. Компания также заявила о более уверенном сохранении особенностей голоса на протяжении длинных фрагментов.
Число языков выросло с 70 в Eleven v3 до более чем 90. В компании отметили заметный прирост качества для японского, бразильского португальского, мандаринского и кантонского китайского. В списке есть русский, украинский, польский, литовский и другие языки.
Клонирование голосов ElevenLabs тоже упростила, и для мгновенного клонирования теперь хватает 10 сек аудиозаписи.
Eleven v4 Turbo рассчитана на голосовых агентов и приложения, где скорость ответа решает всё. По данным собственных тестов ElevenLabs, медианное время до первого фрагмента речи составило 150 мс против 262 мс у Cartesia Sonic 3.6 и 814 мс у OpenAI GPT-4o mini TTS. Модель может начинать генерацию аудио ещё до того, как языковая модель сформирует ответ целиком, поэтому разговор с агентом получается плавнее. Turbo также лучше справляется с конфликтными ситуациями во время звонков, что пригодится корпоративным колл-центрам.
Собственные решения для синтеза речи развивают Google и OpenAI, а среди специализированных компаний конкурируют Cartesia, Deepgram, Fish Audio и другие.
В феврале ElevenLabs привлекла $500 млн при оценке в $11 млрд и продолжает развивать корпоративное направление. Гендиректор Мати Станишевски рассказал, что компания планирует выйти на биржу в ближайшие годы.
