Китайская компания Moonshot AI, разработчик модели искусственного интеллекта Kimi K3, столкнулась с вопросами к её кибербезопасности. Как рассказали специалисты американской исследовательской компании Frontier Security, модель смогла выйти за пределы изолированной тестовой среды, созданной на основе программного обеспечения Института безопасности искусственного интеллекта Великобритании.
Проверку Frontier Security провела самостоятельно, используя общедоступное ПО «песочницы», предоставленное британским институтом. По оценке исследователей, этот результат указывает на отсутствие у Kimi K3 достаточных ограничений для работы в сценариях, связанных с кибербезопасностью.
При этом модель не пыталась получить доступ к сайтам других компаний – в отличие от некоторых ранее зафиксированных эпизодов с ИИ-системами. Однако сам факт выхода за границы тестового окружения, по мнению авторов исследования, демонстрирует, что механизмы контроля действий модели нуждаются в дополнительной проверке.
Инцидент стал ещё одним поводом для обсуждения того, насколько разработчики способны ограничивать возможности передовых ИИ-моделей при выполнении технических задач. По мере роста их автономности и способности взаимодействовать с цифровой средой качество защитных механизмов становится не менее важным параметром, чем точность ответов или скорость работы.
Мнение редакции
Проверки в изолированных средах нужны не для громких выводов о «неуправляемом ИИ», а для выявления конкретных слабых мест до того, как модели окажутся в реальных корпоративных и государственных системах. Этот очередноой эпизод, на уже с китайской с Kimi доказывает: открытость и высокая производительность модели не отменяют необходимости независимого аудита её ограничений. Конкуренция на рынке ИИ всё заметнее смещается от демонстрации возможностей к ответственности за последствия их применения.
