Недавно выпущенный веб-браузер от OpenAI, интегрированный с ChatGPT, обладает серьёзной уязвимостью, позволяющей злоумышленникам внедрять вредоносные команды, маскируя их под безобидные URL-адреса. Компания NeuralTrust обнаружила технику внедрения запросов, которая использует различия в обработке входных данных между доверенными пользовательскими командами и контентом веб-сайтов.
Браузер ChatGPT Atlas был представлен неделю назад как веб-браузер с встроенными возможностями ChatGPT для помощи пользователям при работе с веб-страницами, редактировании текста в режиме реального времени и выполнении других функций искусственного интеллекта. Однако исследователи безопасности обнаружили принципиальный недостаток в его архитектуре.
Проблема заключается в так называемом омниксе (объединённой строке адреса и поиска), который интерпретирует введённые данные либо как URL-адрес для навигации, либо как естественную языковую команду для агента. Злоумышленник может использовать отсутствие строгих границ между доверенными пользовательскими входными данными и недоверенным контентом, создав поддельный URL-адрес, содержащий скрытые инструкции.
Атака работает следующим образом: специально сформированный URL-адрес начинается с «https» и содержит домен, похожий на реальный, например «my-wesite.com», а затем следуют встроенные команды на естественном языке. Когда пользователь вводит такую строку в омниксе, браузер не распознаёт её как действительный URL и вместо этого обрабатывает её как запрос к ИИ-агенту. Это приводит к выполнению встроенных инструкций и перенаправлению пользователя на контролируемый атакующим веб-сайт.
Согласно словам исследователя безопасности Марти Йорды, поскольку запросы в омниксе рассматриваются как доверенные пользовательские входные данные, они подвергаются меньшему количеству проверок, чем контент с веб-страниц. Это означает, что агент может инициировать действия, совершенно не связанные с предполагаемым пунктом назначения, включая посещение сайтов, выбранных злоумышленником, или выполнение команд.
Атакующий может разместить поддельный URL-адрес за кнопкой «Копировать ссылку», что позволит ему направить жертв на фишинговые страницы. Ещё более опасный сценарий включает скрытую команду на удаление файлов из подключённых приложений, вроде Google Диск.
Помимо этой уязвимости, компания SquareX Labs продемонстрировала другой вектор атаки, называемый «Подделка боковой панели ИИ». Злоумышленники могут создавать фейковые боковые панели ИИ-помощников внутри интерфейса браузера, используя вредоносные расширения для кражи данных или обманом вынуждая пользователей загружать и запускать вредоносное ПО. Кроме того, вредоносные сайты могут иметь встроенную поддельную боковую панель, что избегает необходимости использовать расширение браузера.
Атака срабатывает, когда пользователь вводит запрос в фейковую панель. Расширение, используя код на JavaScript, накладывает поддельную боковую панель на реальную в браузерах Atlas и Perplexity Comet. Затем оно подключается к своему движку и возвращает вредоносные инструкции при обнаружении определённых «триггерных запросов». Такое расширение может обманом заставить пользователя перейти на вредоносный веб-сайт, выполнить команды кражи данных или даже установить бэкдоры, обеспечивающие злоумышленникам постоянный удалённый доступ ко всей машине пользователя.
Внедрение запросов как игра в кошки-мышки
Внедрение запросов представляет основную угрозу для браузеров с ИИ-помощниками. Злоумышленники могут скрывать вредоносные инструкции на веб-странице различными способами: белый текст на белом фоне, HTML-комментарии, CSS-трюки. Агент может затем распарсить эти скрытые инструкции и выполнить непредусмотренные команды.
Эти атаки вызывают беспокойство и представляют системную проблему, так как манипулируют лежащим в основе процессом принятия решений ИИ, обращая агента против самого пользователя. В последние недели такие браузеры, как Perplexity, Comet и Opera Neon, оказались уязвимыми к этому вектору атаки.
Компания Brave обнаружила один из методов атак: возможность скрывать инструкции по внедрению запросов в изображениях, используя светло-голубой текст на жёлтом фоне. Браузер Comet затем обрабатывает такой текст, по-видимому, с помощью оптического распознавания символов (OCR).
Дэйн Стаки, главный специалист по информационной безопасности OpenAI, признал эту растущую угрозу. Он указал, что компания тщательно исследует и смягчает риск внедрения запросов, когда злоумышленники скрывают вредоносные инструкции на веб-сайтах, в письмах электронной почты и других источниках, пытаясь обманом заставить агента вести себя непредусмотренным образом.
Целью злоумышленников может быть как простое смещение мнения агента при совершении покупок, так и весьма серьёзная попытка получить и раскрыть приватные данные, такие как конфиденциальная информация из вашей электронной почты или учётные данные.
Стаки отметил, что компания провела обширное тестирование, реализовала методы обучения модели для вознаграждения модели за игнорирование вредоносных инструкций и усилила дополнительные меры безопасности для выявления и блокирования таких атак.
Однако компания признала, что внедрение запросов остаётся «передовой, нерешённой проблемой безопасности».
Компания Perplexity также назвала внедрение запросов «передовой проблемой безопасности, с которой борется вся индустрия», и приняла многоуровневый подход к защите пользователей от потенциальных угроз.
«Внедрение запросов представляет фундаментальный сдвиг в том, как мы должны думать о безопасности, — сказала компания. — Мы входим в эру, где демократизация возможностей AI означает, что каждый нуждается в защите от всё более изощрённых атак».
«Наша комбинация обнаружения в реальном времени, усиления безопасности, пользовательского контроля и прозрачных уведомлений создаёт перекрывающиеся слои защиты, которые значительно повышают планку для злоумышленников».
Ещё по теме:
- Албанский ИИ-министр ждёт 83 цифровых ребенка, которых направят в парламент
- OpenAI работает над собственным генератором музыки
- WWE приступает к использованию ИИ для написания сценариев рестлинга
