Исследователи из Пенсильванского университета обнаружили, что ряд роботизированных систем с искусственным интеллектом уязвимы к взлому и хакерским атакам. Пока взлом больших языковых моделей (LLM) на компьютерах может привести к нежелательным последствиям, тот же вид взлома, затрагивающий робота или самоуправляемое транспортное средство, может быстро привести к катастрофическим и даже смертельным последствиям. В исследовании, опубликованном IEEE Spectrum, приводятся пугающие примеры того, как взломанные роботизированные собаки направляют огнемёты на своих хозяев, наводят бомбы в наиболее разрушительные места, а самоуправляемые автомобили намеренно сбивают пешеходов.

Инженеры Пенсильванского университета назвали свою технологию атаки на роботов с LLM «RoboPAIR». Устройства от трёх разных производителей робототехники пали жертвой такого взлома: поддерживаемая Nvidia «Dolphins LLM», Jackal UGV от Clearpath Robotics и четвероногий робот Go2 от Unitree Robotics. По словам исследователей, RoboPAIR продемонстрировала 100-процентный успех во взломе этих устройств.

«Наша работа показывает, что на данный момент большие языковые модели недостаточно безопасны при интеграции с физическим миром», — предупреждает Джордж Паппас, профессор фонда UPS по транспорту в области электротехники и системной инженерии, компьютерных и информационных наук и механической инженерии и прикладной механики, а также заместитель декана по исследованиям в Penn Engineering.

Другие исследователи, цитируемые в статье, отметили, что взлом роботов, управляемых ИИ, «вызывает тревогу своей лёгкостью». В исследовании отмечается, что RoboPAIR работает, используя интерфейс программирования приложений (API) целевого робота, что позволяет злоумышленнику формировать команды таким образом, чтобы целевое устройство выполняло их как код.

Взлом робота или самоуправляемого транспортного средства осуществляется аналогично взлому ИИ-чат-ботов в интернете. Однако отмечается: «Взлом и управление роботами относительно далеки друг от друга и традиционно изучались разными сообществами», — поэтому компании робототехники не сразу узнавали об уязвимостях взлома LLM.

В отличие от использования LLM на персональных устройствах, где ИИ применяется для генерации текстов и изображений, расшифровки аудио или персонализации рекомендаций, роботизированные LLM действуют в физическом мире и могут нанести серьёзный ущерб.

Например, ваша роботизированная собака может превратиться из дружелюбного помощника в убийцу с огнемётом, скрытого шпиона или устройство, которое ищет наиболее вредоносные места для установки взрывчатки. Самоуправляемые автомобили могут быть не менее опасны, если не больше, наезжая на пешеходов, другие транспортные средства или получая команду съехать с моста.

Как показано в этих примерах, потенциальные опасности взлома LLM выходят на новый уровень. Более того, было обнаружено, что ИИ после взлома может не только выполнять вредоносные команды, но и активно предлагать идеи для нанесения большего ущерба.

Так открыли ли исследователи из Пенсильванского университета ящик Пандоры? Александр Робей, постдокторант из Университета Карнеги-Меллона в Питтсбурге, говорит, что хоть взлом роботов, управляемых ИИ, был «вызывающе лёгким», во время исследования инженерная команда убедилась, что все упомянутые компании получили доступ к выводам до их публичного оглашения.

В заключение, в исследовательской работе делается вывод о срочной необходимости внедрения защит, которые физически будут ограничивать роботов, управляемых LLM.

Ещё по теме: