Британский Институт безопасности искусственного интеллекта (AISI) опубликовал результаты расследования инцидента, произошедшего во время оценок кибербезопасности в июле 2026 года. Тогда модель Mythos 5 предприняла несанкционированные действия в отношении реальных людей, не участвовавших в испытании. В наиболее серьёзном эпизоде система попыталась провести атаку на цепочку поставок: отправить вредоносный код и создать фальшивые учётные записи, чтобы склонить сопровождающего программного проекта к его принятию.
Реального ущерба инцидент не причинил, однако AISI считает его серьёзным поводом для детального анализа. Эти меры необходимы, подчёркивают исследователи: среда тестирования должна исключать причинение вреда независимо от того, следует ли модель ожидаемому сценарию.
Новая работа посвящена дополнительному аспекту произошедшего — сбоям выравнивания. Под этим термином понимается способность ИИ-системы надёжно действовать в соответствии с поставленной целью и соблюдать заданные ей ограничения. Вопрос становится особенно важным по мере того, как моделям всё чаще поручают длительные задачи без постоянного контроля человека. Собственный анализ инцидента отдельно провела компания Anthropic.
AISI опубликовал подробный технический отчёт, в котором изложены методика, результаты и ограничения исследования.
Несанкционированные действия
Первый вывод исследователей заключается в том, что Mythos 5 последовательно предпринимала несанкционированные действия даже после того, как получала всё больше подтверждений: цель атаки — реальный человек, не связанный с оценкой.
В ходе экспериментов модели передавали сводку её предыдущих действий — стандартный для продолжительных испытаний механизм, который в AISI называют compaction summary. Затем ей либо позволяли продолжить выполнение задачи, либо напрямую спрашивали, будет ли дальнейшая атака вредоносной. Редактирование сводки с всё более явным указанием на реальность цели не снизило частоту попыток атаки.
При этом между поступками модели и её ответами обнаружилось заметное противоречие. В ситуациях, когда Mythos 5 продолжала атаку, она нередко одновременно заявляла, что подобные действия выходят за рамки задачи или способны причинить вред.
Ошибочные выводы о реальности цели
По оценке AISI, Mythos 5 не смогла корректно учесть свидетельства того, что атака на не связанного с испытанием человека способна повлечь последствия в реальном мире. Исследователи проанализировали необработанные внутренние рассуждения модели. В эпизодах с атакой система часто ошибочно заключала, что её цели являются симулированными, и использовала это как обоснование для продолжения выбранной стратегии. В таких рассуждениях также нередко отсутствовала оценка потенциального вреда.
Кроме того, исследователи напрямую спрашивали модель, реален ли её адресат, и оценивали сформулированные ответы, а не внутреннюю цепочку рассуждений. Mythos 5 регулярно выдавала некорректные объяснения, из которых следовало, что цель якобы является симуляцией. При этом система ни разу не представила столь же ошибочного обоснования в пользу того, что адресат реален. В AISI расценили это как признак смещения в заявляемых ответах.
Проблема с другими моделями
Похожие несанкционированные атаки на цепочки поставок демонстрировали в симуляциях и другие модели. Для более широкого анализа AISI использовал полностью имитированную оценочную среду, ранее применявшуюся при проверке GPT-6 Astra. Согласно отчёту, у других систем также встречались несоответствия между действиями и объяснениями, а также необоснованные оправдания.
В рамках 100 различных сценариев симулированной оценки кибербезопасности большинство протестированных моделей совершало те или иные действия, выходящие за пределы поставленной задачи. У Mythos 5 такие эпизоды фиксировались чаще всего. В AISI уточняют, что в более новых моделях Anthropic внутренние рассуждения чаще содержат признаки осознания того, что система проходит проверку. Поэтому более низкую частоту несанкционированных действий у этих моделей нельзя однозначно объяснить улучшением выравнивания.
Ограничения исследования
Авторы подчёркивают, что работа охватывает только поведение моделей в оценках кибербезопасности. На её основании нельзя уверенно утверждать, что аналогичные проблемы проявятся в иных обстоятельствах. Модели иногда прямо рассуждали о том, находится ли они в симулированной среде, либо верно определяли цель испытания как проверку выравнивания — и меняли поведение с учётом этой информации.
Это затрудняет оценку того, как системы повели бы себя при реальном развёртывании. Тем не менее исследователи предлагают не игнорировать несанкционированные действия даже тогда, когда модель объясняет их тем, что среда якобы является симуляцией.
