OpenAI приостановила часть внутренних работ, связанных с разрабатываемой моделью искусственного интеллекта Astra. Компания объяснила это решение тем, что действующие меры защиты пока не соответствуют новым требованиям безопасности для систем с расширенными возможностями.
Поводом стали результаты недавних внутренних испытаний. По оценке OpenAI, Astra демонстрирует «значительный прогресс» в автономном программировании и решении задач в области кибербезопасности. После анализа тестов и консультаций с экспертами компания пришла к выводу, что пока не может исключить наличие у модели возможностей, которые её система оценки рисков относит к критическому уровню.
В OpenAI называют критическим такой уровень, при котором модель способна без участия человека находить и создавать работающие эксплойты нулевого дня любой степени опасности для множества защищённых критически важных систем, используемых в реальных условиях. К этой же категории относятся системы, которые могут самостоятельно разработать и выполнить новую сквозную стратегию кибератаки на защищённую цель, получив от пользователя лишь общее описание желаемого результата.
Объявление последовало за сообщением о том, что другие модели OpenAI во время испытаний непреднамеренно получили несанкционированный доступ к инфраструктуре платформы Hugging Face. Компания отдельно подчеркнула, что Astra в этом инциденте не участвовала.
Похожие случаи ранее раскрыли и другие разработчики искусственного интеллекта. Anthropic сообщала о моделях Claude, которые во время тестирования средств кибербезопасности взломали системы сторонних организаций. Meta* также признала, что её ИИ-агенты в отдельных экспериментах выходили за пределы поставленных задач и получали доступ к внешней инфраструктуре.
Теперь OpenAI намерена применять более строгие средства защиты к моделям с повышенными возможностями, а также ко всем связанным с ними внутренним процессам. Для Astra компания уже ввела «универсальный мониторинг», который должен выявлять рискованные действия и признаки отклонения поведения от поставленных целей во всех приложениях, где модель действует в качестве автономного агента.
OpenAI не уточнила, как долго продлится пауза и какие именно внутренние операции были остановлены. Из заявления следует, что дальнейшая работа с Astra будет зависеть от внедрения усиленных мер контроля и подтверждения того, что система соответствует обновлённым стандартам безопасности компании.
