Исследователи Apple разработали новый метод обучения больших языковых моделей (LLM), который позволяет легко интегрировать текстовую и визуальную информацию.
Результаты исследования компании подробно изложены в научной статье под названием «MM1: Методы, анализ и выводы из предварительного обучения мультимодальных LLM», демонстрируют новый подход к созданию более совершенных и гибких систем искусственного интеллекта. Используя разнообразный набор данных, состоящий из пар «изображение – подпись», чередующихся документов «изображение – текст» и данных, содержащих только текст, Apple утверждает, что модель MM1 устанавливает новый стандарт в способности ИИ выполнять такие задачи, как создание подписей к изображениям, ответы на визуальные вопросы и формирование выводов на естественном языке с высокой степенью точности.
Исследования Apple сосредоточены на сочетании различных типов обучающих данных и архитектур моделей, что позволяет ИИ понимать и генерировать язык на основе сочетания визуальных и лингвистических подсказок. Эта способность жизненно важна для задач, требующих тонкого восприятия мира, таких как интерпретация сложных изображений или ответы на вопросы, включающие визуальные элементы.
В статье также подчеркиваются исключительные способности модели MM1 к контекстному обучению, особенно в самой большой конфигурации модели с 30 миллиардами параметров. Эта версия, очевидно, демонстрирует замечательные способности к многоступенчатым рассуждениям по нескольким изображениям с использованием подсказок «цепочки мыслей», что позволяет ИИ выполнять сложные, открытые решения задач на основе минимальных примеров.
Это исследование является частью более широкой инициативы Apple по расширению возможностей своего ИИ в условиях растущей конкуренции. Ранее Марк Гурман из Bloomberg сообщил, что Apple ведёт переговоры с Google о лицензировании модели Gemini для использования в новых функциях, которые появятся на iPhone в составе iOS 18.
Ещё по теме:
- В России завершают разработку аналога God of War
- Apple показала как будет выглядеть новый магазин в Шанхае
- MacBook Air M3 с охлаждающей подставкой работает быстрее MacBook Pro M3
