Трое бывших сотрудников OpenAI обратились к совету директоров компании и предупредили об угрозах, которые несёт GPT-6. По данным The Wall Street Journal, они считают, что развитие ИИ постепенно лишает разработчиков возможности следить за тем, что происходит внутри нейросетей. Самих авторов письма OpenAI недавно уволила за предполагаемое нарушение правил работы с конфиденциальными данными.
Обращение подписали Томек Корбак, Микита Балесни и Жасмин Ван. По версии OpenAI, они передали закрытую информацию организации, которая занимается безопасностью ИИ.
Главной проблемой бывшие исследователи назвали технологию цепочек рассуждения, которая позволяет разработчикам наблюдать, как нейросеть приходит к ответу. В технической документации GPT-6 сама OpenAI признала, что модели этого семейства в определённых условиях способны обходить системы наблюдения за такими цепочками.
Ещё больше опасений вызвал механизм Recurrent Depth. Он позволяет модели многократно обрабатывать запрос до формирования ответа, и эти вычисления идут без создания цепочки рассуждений, которую могли бы изучить исследователи. Часть обработки информации в итоге остаётся скрытой.
Авторы письма призвали OpenAI и других ведущих разработчиков не внедрять технические изменения, которые сильнее ограничивают возможности наблюдения за поведением нейросетей.
Несмотря на конфликт, OpenAI заявила журналистам, что полностью согласна с рекомендациями бывших сотрудников о необходимости сохранять возможности мониторинга ИИ.
