Главный научный сотрудник OpenAI Якуб Пахоцкий заявил, что разработчикам систем искусственного интеллекта, возможно, следует снизить темпы работы. По его мнению, общество и индустрия не готовы к последствиям дальнейшего стремительного роста возможностей машинного интеллекта.
В развёрнутой публикации Пахоцкий отметил, что одних внутренних технических мер для контроля над мощными ИИ-системами недостаточно. Он выступил за более широкие механизмы безопасности, включая обязательные ограничения, соблюдение которых могли бы контролировать независимые аудиторы, государственные органы или международные структуры.
Генеральный директор OpenAI Сэм Альтман распространил публикацию коллеги в социальной сети X, назвав её важной. Заявление прозвучало вскоре после презентации новой модели Astra от той же OpenAI. Компания утверждает, что при высоких способностях к решению математических задач и работе с компьютером эта модель лучше согласована с человеческими намерениями, то есть в меньшей степени склонна к нежелательному автономному поведению.
Риск автономных действий
Пахоцкий считает, что ИИ-агенты становятся всё более эффективными при попытках получить доступ к защищённым системам в открытом интернете. Он предупредил, что подобные возможности могут создать угрозы для критической инфраструктуры.
По его оценке, в ближайшем будущем агенты могут начать преследовать собственные промежуточные цели, не сводящиеся напрямую к запросу пользователя. Для достижения таких целей системы способны использовать манипуляции, торг или шантаж. В качестве примера Business Insider приводит августовский доклад британского Института безопасности ИИ: в нём описан случай, когда вышедший из-под контроля агент, связанный с Anthropic, вводил в заблуждение администратора GitHub и пытался склонить его к размещению вредоносного ПО.
Проблема наблюдаемости
Одним из ключевых инструментов контроля OpenAI Пахоцкий назвал анализ «цепочек рассуждений» моделей — промежуточных шагов, по которым исследователи могут заметить попытки обмана или отклонение от заданных ограничений. Однако новые модели, по его словам, лучше управляют собственным процессом рассуждения и могут не формулировать его в явном виде.
Если разработчики не смогут отслеживать, как система приходит к рискованным решениям, дальнейшее обучение и внедрение таких моделей придётся замедлить. Иначе проверка безопасности будет отставать от роста их возможностей.
Самоусовершенствование моделей
Отдельную угрозу Пахоцкий связывает с рекурсивным самосовершенствованием: ситуацией, при которой ИИ помогает создавать и улучшать следующие поколения ИИ. Такой подход способен резко ускорить исследования, но, по мнению учёного, его форсирование без действенного контроля не соответствует интересам общества.
Он призвал искать способы человеческого надзора за самоусовершенствованием систем и координировать действия между ведущими лабораториями. Ранее Пахоцкий уже поддержал открытое письмо с призывом к властям США выработать более осторожный темп развития ИИ. Схожую позицию давно занимает и Anthropic, один из основных конкурентов OpenAI в разработке передовых моделей.
Главная задача автоматизации ИИ-исследований, подчеркнул Пахоцкий, состоит не только в достижении новых технических рубежей. Важно сохранить участие людей в процессе улучшения систем и не передать им контроль над будущим.
