Ollama для Mac получила поддержку локального синтез речи

Приложение Ollama научилось локально озвучивать текст

2 мин.
Ollama для Mac получила поддержку локального синтез речи

Приложение Ollama для компьютеров Mac получило поддержку локального синтеза речи. Первой доступной моделью стала Phonon – линейка компактных моделей преобразования текста в речь, разработанная компанией Gradium. Поддержка Windows и Linux, как сообщили разработчики, появится позднее.

Ollama – платформа с открытым исходным кодом для загрузки и запуска ИИ-моделей непосредственно на устройстве, а также для доступа к более производительным облачным моделям. На macOS приложение использует фреймворк машинного обучения MLX от Apple, оптимизированный для архитектуры унифицированной памяти чипов Apple Silicon.

Локальный запуск позволяет работать с совместимыми открытыми моделями без постоянного подключения к интернету и без передачи данных на внешние серверы. При этом скорость работы и предельный размер доступных моделей зависят от конфигурации конкретного Mac.

Генерация речи в реальном времени

Модели Phonon в Ollama могут создавать аудио по мере формирования текста: пользователь может начать слушать ответ, не дожидаясь окончания всей генерации. Это первое внедрение моделей синтеза речи в платформе.

По данным Ollama, на MacBook Pro с чипом M5 Max генерация речи через MLX оказалась на 35% быстрее, чем в собственной реализации Gradium. При этом показатель ошибок распознавания слов соответствовал эталонной реализации в библиотеке Hugging Face Transformers. Эти результаты приведены разработчиками и относятся к их тестовой конфигурации.

Языки и требования

Phonon поддерживает английский, французский, немецкий, испанский и португальский языки. Для каждого из них предусмотрены отдельные модели, также доступна многоязычная версия. В зависимости от выбранной модели можно использовать разные голоса и акценты, включая американский и британский варианты английского.

Новые голосовые модели уже доступны владельцам Mac с Apple Silicon, использующим Ollama версии 0.40.11 или новее. Phonon можно загрузить непосредственно через Ollama; на сайте проекта опубликованы примеры аудио, инструкции и примеры работы с API.