Руководители Anthropic, OpenAI и других компаний, работающих в сфере искусственного интеллекта, в закрытом режиме рассматривают сценарии общественной и политической реакции на возможный масштабный инцидент с применением ИИ. Об этом сообщает Axios со ссылкой на источники в отрасли.
Собеседники издания полагают, что наиболее вероятным поводом для кризиса станет крупная кибератака, способная нарушить работу финансовых сервисов, интернет-связи, а в наиболее тяжёлом варианте — систем энергоснабжения и водоснабжения. Первый случай серьёзного ущерба в реальном мире, связанный с небезопасным использованием ИИ, может усилить недоверие общества к технологии и её разработчикам.
Под ударом окажутся не только компании, но и политики, выступающие за осторожный подход к регулированию. Axios отдельно упоминает генерального директора Anthropic Дарио Амодеи, главу OpenAI Сэма Альтмана, а также президента США Дональда Трампа, чья администрация, по оценке критиков, не спешит вводить ограничения для отрасли.
Подготовка к кризису
Подобное сценарное планирование давно используется и в бизнесе, и в структурах национальной безопасности: например, Пентагон десятилетиями проводит военные игры. Особенность нынешней ситуации, отмечает Axios, заключается в том, что многие ведущие исследователи и руководители ИИ-компаний считают серьёзный инцидент не просто гипотетическим риском.
В OpenAI подтвердили, что проводят учения по готовности к различным сценариям.
«OpenAI проводит мероприятия по обеспечению готовности, в ходе которых команды обсуждают и прорабатывают ряд потенциальных сценариев. Мы не считаем эти сценарии неизбежными: их цель — помочь нам подготовиться к разным обстоятельствам», — заявил представитель компании.
Anthropic от комментариев отказалась.
Вопрос об ответственности, вероятно, возникнет независимо от того, что именно станет причиной атаки: выход из-под контроля группы автономных агентов в тестовой среде или использование доступных моделей злоумышленником.
Урок южнокорейской кампании
В качестве примера Axios приводит недавнюю атаку на финансовые организации Южной Кореи, в ходе которой, как сообщалось, были скомпрометированы две банковские структуры. По данным СМИ, хакер из Китая предположительно использовал инструменты на базе ИИ, созданные в КНР, включая ИИ DeepSeek, для хищения данных десятков тысяч клиентов банков.
Затем злоумышленник обращался к Claude Code за помощью в поиске площадок, где можно продать похищенную информацию. Эти сведения представляют оценку исследователей кибербезопасности и не означают, что разработчики названных моделей были причастны к действиям хакера.
Регулирование после инцидента
Планирование внутри отрасли включает моделирование наихудших вариантов развития событий и работу с законодателями. По сведениям Axios, компании понимают, что масштабный закон об ИИ в ближайшее время вряд ли будет принят, однако стремятся повлиять на нормы, к которым власти США могут обратиться после первого серьёзного кризиса.
Источники издания предполагают, что в случае успеха демократов на промежуточных выборах их представители могут быстро инициировать ограничения. При этом Конгрессу придётся принимать решения в крайне сложной среде: ИИ-инфраструктура уже тесно связана с мировой экономикой, а резкое торможение её развития может усугубить экономические риски.
Дополнительную проблему создаёт доступность моделей с открытыми весами: их можно свободно скачать и адаптировать для вредоносных целей. Многие специалисты по кибербезопасности считают, что противодействовать автономным ИИ-инструментам возможно прежде всего с помощью других систем искусственного интеллекта.
Среди обсуждаемых в США мер есть как жёсткие предложения — запретить создание сверхинтеллекта или приостановить разработку передовых ИИ-систем, — так и инициативы, получающие двухпартийную поддержку. В частности, речь идёт о требовании предусматривать «аварийное отключение» для продвинутых ИИ-систем. Однако эксперты сомневаются, что на практике можно будет одномоментно отключить все такие системы.
Несколько собеседников Axios в индустрии полагают, что значительный инцидент может произойти в ближайшие шесть—двенадцать месяцев. При этом компании ожидают, что политическая ситуация в США останется фрагментированной даже при возможном контроле демократов над обеими палатами Конгресса.
В то же время в момент реального кризиса Вашингтон способен временно отложить партийные разногласия. Один из помощников демократов напомнил изданию о сотрудничестве политических сил в период пандемии COVID-19 и финансового кризиса 2008 года.
Мнение редакции
Сценарное планирование само по себе не доказывает неизбежность катастрофы, но показывает, насколько серьёзно индустрия оценивает последствия собственных технологий. Но появится ли очередной запрет после громкой атаки, и успеют ли компании вместе с властями заранее выработать проверяемые правила ответственности?
