Исследовательская группа Apple Intelligence выпустила две новые небольшие, но высокопроизводительные языковые модели, используемые для обучения искусственного интеллекта.
Команда машинного обучения Apple участвует в проекте DataComp for Language Models с открытым исходным кодом наряду с другими представителями отрасли. Было замечено, что две модели, которые Apple недавно выпустила, соответствуют или превосходят другие ведущие модели, такие как Llama 3 и Gemma.
Подобные языковые модели используются для обучения ИИ-движков, таких как ChatGPT, благодаря стандартной структуре. Они включают в себя архитектуру, параметры и фильтрацию наборов информации, чтобы обеспечить более высокое качество данных.
Apple представила две модели: большую с семью миллиардами параметров и меньшую с 1,4 миллиарда параметров. По словам команды, модель превзошла предыдущую лучшую модель, MAP-Neo, на 6,6% в бенчмарках.
Что ещё более примечательно, модель DataComp-LM, разработанная командой Apple, использует на 40% меньше вычислительной мощности для выполнения этих тестов. Она оказалась лучшей среди моделей с открытыми наборами данных и составила конкуренцию моделям с закрытыми наборами данных.
Apple сделала свои модели полностью открытыми для других исследователей. И большая, и меньшая модели показали достаточно высокие результаты в бенчмарке Massive Multi-task Language Understanding (MMLU), чтобы быть конкурентоспособными по сравнению с коммерческими версиями.
Эти модели, которые выпустила команда, не предназначены для использования в каких-либо будущих продуктах Apple. Это исследовательские проекты, призванные продемонстрировать повышение эффективности работы с малыми и большими наборами данных, используемыми для обучения ИИ-моделей.
Команда Apple по машинному обучению и раньше делилась результатами исследований с сообществом. Наборы данных, исследовательские заметки и другие материалы можно найти на HuggingFace.co, платформе, посвящённой расширению сообщества ИИ.
Ещё по теме:
- Microsoft выпустила утилиту для восстановления Windows после масштабного массового сбоя
- Хакеры-вымогатели группы Qilin массово атакуют медицинские учреждения
- VERO: Собака-робот-пылесос для уборки мусора на пляже
