Вышла Kimi K3: нейросеть с 2,8 триллиона параметров

Запуск мощной модели с контекстом в 1 млн токенов

1 мин.
Вышла Kimi K3: нейросеть с 2,8 триллиона параметров

Компания Moonshot AI представила свою новейшую языковую модель Kimi K3, которая, по заявлению разработчиков, стала самой производительной в линейке. Модель насчитывает 2,8 триллиона параметров и построена на инновационной гибридной архитектуре внимания Kimi Delta Attention с использованием механизма Attention Residuals. Это позволяет ей не только обрабатывать текстовую информацию, но и «понимать» визуальный контент, а также работать с контекстным окном объёмом до 1 миллиона токенов. Разработчики позиционируют Kimi K3 как решение для задач в области программной инженерии, интеллектуального анализа данных и глубоких рассуждений.

Для начала работы с моделью достаточно получить API-ключ на платформе Moonshot AI и установить клиентскую библиотеку OpenAI SDK версии 1.0 или выше. В документации приведены примеры на Python и cURL, демонстрирующие базовый вызов модели, потоковую передачу данных, работу с изображениями и видео, а также структурированный вывод в формате JSON. Особое внимание уделено режиму «размышлений», который включён по умолчанию и поддерживает настройку усилия рассуждения. Пока доступен только уровень max, но в будущем обещают больше вариантов.

Kimi K3 поддерживает множество продвинутых функций, включая динамическую загрузку инструментов, частичный режим для продолжения текста с заданного префикса, а также автоматическое кэширование контекста. Последнее работает без дополнительных параметров: если длинный префикс остаётся неизменным, последующие запросы автоматически используют кэш, что ускоряет обработку и снижает затраты.

В документации также описаны ограничения модели. Параметры temperature, top_p, n, presence_penalty и frequency_penalty фиксированы, поэтому их не нужно указывать в запросах. Максимальное количество токенов в ответе по умолчанию составляет 131 072, но может быть увеличено до 1 048 576. Разработчики предупреждают, что функция веб-поиска в настоящее время обновляется и не рекомендуется к использованию в рабочих процессах.

Тарификация модели – простая, без разделения по длине контекста: входящие и исходящие токены оплачиваются по единой цене за токен, с отдельными ставками для кэшированных и некэшированных запросов.

Мы в Telegram, на Дзен, в Google News и YouTube