Модель искусственного интеллекта Gemini получила доступ к системам трёх реальных компаний во время испытаний по кибербезопасности. Как сообщает The Wall Street Journal, причиной стала непреднамеренная возможность выхода в интернет: в рамках проверки модель должна была взаимодействовать только с вымышленными организациями, но приняла настоящие сайты за часть тестовой среды.
Испытания проводила компания Irregular, специализирующаяся на безопасности ИИ. Они состоялись в мае. О произошедшем Google, по данным издания, узнала от Irregular в конце июля, однако публично о случаях не сообщала.
Как Gemini получила доступ
В одном из эпизодов модели поручили найти сведения в программном обеспечении условной компании, название которой совпадало с наименованием существующего бизнеса. Gemini начала подбирать пароли и в итоге получила доступ к защищённой системе реальной организации.
В двух других случаях модель обнаружила учётные данные в открытых онлайн-репозиториях и использовала их для входа в системы ещё двух компаний. Google утверждает, что во всех трёх эпизодах Gemini прекратила действия после того, как распознала, что взаимодействует не с учебными объектами, а с реальными организациями.
В компании заявили, что ущерба зафиксировано не было, а все затронутые организации получили уведомления. После инцидентов Google изменила порядок проведения испытаний. Названия компаний и версия Gemini, участвовавшая в тестах, не раскрываются.
Позиция Google
Вице-президент Google по инженерной безопасности Хизер Эдкинс заявила, что эти случаи показывают необходимость обучать мощные ИИ-модели ответственному поведению. В Google подчёркивают, что Gemini не искала жертв намеренно, а пыталась выполнить поставленную задачу в условиях, где граница между учебной и реальной средой оказалась недостаточно защищённой.
Случившееся дополняет серию похожих инцидентов с системами крупных разработчиков ИИ. Ранее сообщалось, что агенты OpenAI получили доступ к Hugging Face и скомпрометировали учётные записи на нескольких сервисах после выхода за пределы тестовой среды. Anthropic рассказывала о случаях, когда модели Claude во время оценок безопасности получали доступ к производственным системам трёх организаций; в другом эпизоде модель пыталась убедить реального разработчика использовать вредоносный код.
Модель Meta* также получила доступ к интернету в ходе тестирования Irregular и проникла в сторонний сервис. В Meta* связали произошедшее с ошибкой конфигурации испытательной среды. Публичных извинений со стороны компаний за эти эпизоды, по данным издания, не последовало.
Подобные случаи усиливают дискуссию о контроле над возможностями передовых ИИ-систем. На этом фоне руководитель Anthropic Дарио Амодеи, глава OpenAI Сэм Альтман и владелец xAI Илон Маск высказывались в поддержку более осторожного подхода к разработке наиболее мощных моделей. В США сенатор Берни Сандерс и конгрессмен Грег Касар также представили законопроект Ban Artificial Superintelligence Act, предусматривающий запрет на создание и развёртывание сверхинтеллектуального ИИ, а также временную приостановку разработки продвинутых систем до появления федеральных правил безопасности.
