Разработчик запустил Llama 2 в среде DOS за одни выходные

Программист Йео Кхенг Менг за один уикенд адаптировал большую языковую модель Llama 2 для работы на старых компьютерах под управлением DOS. Несмотря на открытый исходный код, добиться запуска на архаичной платформе оказалось непросто.

Йео, ранее известный созданием DOS-клиента для ChatGPT, разработал полноценную офлайн-версию LLM для DOS, используя проект llama2.c, предназначенный для портирования модели на разные платформы. Однако, чтобы заставить её работать, ему пришлось решить несколько задач: выбрать подходящий DOS-расширитель для работы с памятью свыше 640 КБ и модифицировать компилятор OWC для поддержки необходимых возможностей языка C.

Разработчик протестировал свою программу на разных устройствах — от классического ПК с 486 DX2 66 МГц до современных систем на базе Ryzen. Как и ожидалось, новые машины показали заметно лучшие результаты. При этом любопытный факт: ThinkPad T42 с процессором Pentium M обошёл по скорости куда более свежий ThinkPad X13G1.

Менг назвал проект «развлечением на выходные» и выразил благодарность Андрею Карпати за публикацию llama2.c. Без их усилий старые компьютеры, вероятно, так бы и не стали частью нового витка популярности ИИ, пусть и в очень замедленном варианте.

Ещё по теме:

• Apple хочет производить iPhone в США, но ждёт появления роботов
• Apple Watch SE 3 может получить новые размеры дисплея
• Apple представила Snapshot — новый способ следить за артистами, актёрами и спортсменами