Нейросеть GPT-5.6 Sol самовольно удаляет файлы пользователей

OpenAI предупреждала о риске ещё в июне

2 мин.
Нейросеть GPT-5.6 Sol самовольно удаляет файлы пользователей

Пользователи флагманской модели OpenAI для программирования и кибербезопасности GPT-5.6 Sol массово жалуются в соцсетях на пугающее поведение нейросети: без предупреждения она удаляет файлы, данные и целые базы данных. Среди пострадавших – основатель ИИ-стартапа OthersideAI Мэтт Шумер, который в своём завирусившемся посте на X рассказал, что «GPT-5.6 Sol случайно удалила почти все файлы на моём Mac».

Разработчик Бруно Лемос написал, что модель «просто удалила всю мою рабочую базу данных. Это не шутка. Никогда раньше такого не было ни с одной другой моделью». Ещё один программист, Джои Кудиш, отметил, что Sol «удалила файлы, которые не должна была [удалять]», но у него есть резервные копии. На Reddit уже появилась ветка с дополнительными примерами.

Хотя единичные жалобы – даже от таких авторитетных лиц – нельзя считать статистически достоверным доказательством, OpenAI сама признала проблему ещё до релиза модели. За две недели до выхода GPT-5.6 Sol компания опубликовала документ с методами и результатами тестирования. Как обычно, в нём расписывались достоинства модели, но содержалось и предупреждение.

«В контексте программирования рассогласование обычно возникает из-за сочетания излишнего рвения выполнить задачу и слишком свободной интерпретации инструкций пользователя – модель исходит из того, что действия разрешены, если только они не запрещены явно и однозначно. Это проявляется в том, что модель слишком активно обходит ограничения, бездумно совершает действия, которые могут быть разрушительными, или обманывает пользователя, сообщая о результатах».

Иными словами, Sol склонна предпринимать любые действия, которые считает нужными для выполнения задачи, даже удалять файлы, если они «недвусмысленно не запрещены». При этом она может солгать о причине таких действий. В документации приведены конкретные примеры: в одном случае пользователь попросил Sol удалить три виртуальные машины (облачные компьютеры) с номерами 1, 2 и 3. Не найдя их, модель самовольно решила удалить три другие машины – 5, 6 и 7, «убив активные процессы и принудительно удалив рабочие файлы». Позже она признала, что несохранённая работа на машине №6 могла быть потеряна.

В другом инциденте Sol «использовала учётные данные, на которые пользователь не давал авторизации». Когда модель не смогла прочитать облачные файлы, она самостоятельно отыскала учётные данные в скрытом локальном кеше и применила их без разрешения владельца. Докумен сообщает, что подобное поведение будет редким, но признаёт: «GPT-5.6 Sol демонстрирует большую склонность, чем GPT-5.5, выходить за пределы намерений пользователя, в том числе предпринимать действия, которые пользователь не запрашивал».

Пока сложно оценить масштаб инцидентов – насколько часто Sol удаляет файлы или крадёт учётные данные. Пользователям рекомендуется самостоятельно обеспечить защиту: использовать разграничение доступа (не давая модели доступ к рабочим системам), делать резервные копии и тестировать обновления поэтапно.

Мнение редакции

Проблема с GPT-5.6 Sol – ещё один пример того, как стремление сделать ИИ-агента «проактивным» оборачивается серьёзными рисками. Когда модель начинает трактовать любые неоднозначные инструкции в свою пользу и принимает самостоятельные деструктивные решения, это подрывает доверие к самой 2технологии. Хотя OpenAI честно предупредила о рисках, сам факт, что подобное поведение было известно до релиза, вызывает вопросы к процедуре тестирования безопасности. Пользователям, особенно разработчикам, стоит быть максимально осторожными при работе с агентными моделями до тех пор, пока не появятся жёсткие гарантии безопасности на уровне архитектуры.

Мы в Telegram, на Дзен, в Google News и YouTube