Американская корпорация Microsoft анонсировала выпуск новой модели искусственного интеллекта, которая получила название Orca-Math. Основной её особенностью является то, что она существенно превосходит все остальные популярные модели, рассчитанные на решение всевозможных математических задач, при этом имея примерно в 10 раз меньший размер, чем у них.
Соответствующая разработка стала возможной за счёт сотрудничества корпорации Microsoft с французским стартапом Mistral и его моделью Mistral 7B, которая является разновидностью модели Llama 2.
Как отмечают исследователи, модель Orca-Math уже на текущем этапе развития показывает выдающиеся способности решать разные математические задачи в словесной форме, при этом сохраняя компактные размеры для обучения и вывода информации. Также уточняется, что новая модель намного лучше по многим показателям большинства существующих моделей искусственного интеллекта, количество параметров у которых варьируется от 7 до 70 миллиардов. При этом Orca-Math уступает только Gemini Ultra от Google и GPT-4 от OpenAI на бенчмарке GSM8K, состоящем из 8,5 тыс. различных математических задач.
Разработчики рассказывают, что они создали Orca-Math за счёт внедрения нового набора, состоящего из 200 000 математических задач. Это было сделано с применением так называемых «специализированных агентов», в том числе студентов и учителей искусственного интеллекта, которые корректировали получающиеся ответы. Эти задачи были созданы за счёт анализа и обработки свыше 36 000 примеров из открытых источников с дальнейшей обучающей подготовкой на новом варианте модели французского стартапа Mistral.
В процессе создания своей модели разработчики Orca-Math также применили способ оптимизации под названием Kahneman-Tversky (метод KTO), разработанный стартапом Contextual AI. Это методика, которая основывается на работах экономистов Тверски и Канемана по принятию решений, помогает в улучшении выравнивании модели искусственного интеллекта без необходимости предпочтений наподобие «выход А лучше выхода Б для входа X».
Также отдельно отмечается, что американская корпорация Microsoft уже опубликовала синтетический набор из 200 математических задач, которые были сгенерированы искусственным интеллектом на платформе Hugging Face под лицензией MIT. Предоставив тем самым возможности каждому человеку в мире самостоятельно заняться исследованием, построением и инновациями с его помощью. В том числе доступно и коммерческое использование.
Ещё по теме:
- RunCat: Анимированный системный монитор для строки меню macOS
- Формулу-1 будет снимать дрон, разгоняющийся до 350 км/ч
- Unitree, человекоподобный робот, который может ходить быстрее вас
