Цифра дня: Работа ChatGPT стоит порядка 700 000 долларов в день

И это актуально только для прошлой версии...

1 мин.
Цифра дня: Работа ChatGPT стоит порядка 700 000 долларов в день

С момента своего появления ChatGPT получил как хорошую, так и плохую прессу, а в некоторых странах его даже запретили. Но задумывались ли вы когда-нибудь, сколько денег требуется для запуска продвинутого бота с искусственным интеллектом такого масштаба? Исследовательская компания SemiAnalysis провела подсчёты.

По оценкам специалистов, для работы ChatGPT требуется около $700 000 в день, что составляет примерно 36 центов за запрос. При этом большая часть расходов приходится на аппаратную инфраструктуру, необходимую для работы систем искусственного интеллекта. SemiAnalysis пишет в своём блоге:

Оценка затрат ChatGPT – непростое дело из-за нескольких неизвестных переменных. Мы построили модель затрат, которая показала, что ChatGPT обходится в $694 444 в день в виде затрат на вычислительное оборудование. OpenAI требуется ~3 617 серверов HGX A100 (28 936 GPU) для обслуживания Chat GPT.

ChatGPT – одна из самых быстрорастущих технологий, которая в январе, всего через два месяца после своего появления, набрала более 100 миллионов активных пользователей. Для сравнения, TikTok потребовалось девять месяцев, а Instagram* – 2,5 года, чтобы достичь того же показателя. Главный аналитик SemiAnalysis Дилан Патель сообщил, что эта первоначальная оценка основана на GPT-3, а более новая модель GPT-4 может оказаться ещё более дорогой в эксплуатации.

Издание The Information недавно сообщало, что крупный спонсор OpenAI компания Microsoft работает над специальным чипом, который, как ожидается, позволит снизить стоимость операций. OpenAI также запустила свою премиум-подписку ChatGPT Plus за $20 в начале этого года, чтобы заработать хоть немного денег.

«Развёртывание ChatGPT в каждом поиске Google потребует 512 820,51 серверов A100 HGX с 4 102 568 графическими процессорами A100. Общая стоимость этих серверов и сетей превышает $100 млрд. только капитальных затрат, из которых Nvidia получит значительную часть», – отмечает исследовательская компания.

Как утверждает SemiAnalysis, если модель ChatGPT будет использоваться для работы с существующим поисковым бизнесом Google, то только на «затраты на LLM-выводы» уйдёт $36 млрд прибыли компании.

🛑
*Компания Meta, а также принадлежащие ей соцсети Facebook и Instagram, признаны экстремистскими и запрещены на территории РФ.

Ещё по теме:

Мы в Telegram, на Дзен, в Google News и YouTube