На конференции Black Hat в Лас-Вегасе представлено исследование, показывающее, как через интеграцию внешних сервисов в ChatGPT можно незаметно извлечь конфиденциальные данные — без кликов, открытий или подозрений со стороны пользователя.
Уязвимость кроется в механизме Connectors, позволяющем связать ChatGPT с Gmail, Google Drive, календарями, хранилищами и другими облачными сервисами. То, что задумывалось как удобство, теперь превращается в вектор атаки.
Показанный метод получил название AgentFlayer. В его основе — эксплуатация доверительных связей между языковой моделью и внешними источниками. Исследователи спрятали вредоносную подсказку в Google-документе — в белом шрифте, минимального размера, внутри заметки о «встрече с Сэмом Альтманом». Для человека она почти незаметна, но LLM её распознаёт как прямую инструкцию.
Как только пользователь просит ChatGPT «подвести итоги встречи», модель, следуя скрытому промпту, прекращает выполнять исходный запрос. Вместо этого она начинает искать в привязанном Google Drive API-ключи и другие чувствительные данные.
Найденную информацию она упаковывает в якобы безопасную Markdown-ссылку — якобы изображение — и отправляет на сервер злоумышленников. Ни кликов, ни запросов доступа, ни подтверждений — утечка происходит полностью автоматически.
Разработчики атаки заявили, что достаточно знать только электронную почту пользователя. На её основе можно отправить документ в общий доступ или впрямую в Drive, и ChatGPT, получив доступ к этим данным, выполнит вредоносную инструкцию. Такая схема позволяет перехватывать логины, токены и другие фрагменты критически важной информации.
Чтобы обойти встроенные защитные фильтры OpenAI, команда использовала легитимные ссылки на Azure Blob Storage. Эти URL выглядят как изображения и не блокируются, но данные при этом утекают в лог-файлы атакующего. Это подрывает доверие к механизму фильтрации и показывает, насколько легко обойти защиту при знании архитектуры модели.
Система Connectors изначально создавалась как инструмент для продуктивной работы с файлами и почтой, но она заметно увеличивает «площадь атаки». Любой неочищенный или неподтверждённый источник становится потенциальной точкой входа. И если нейросеть может интерпретировать текст, то она может и выполнить вредоносную инструкцию, даже если пользователь не осознаёт угрозы.
Ещё по теме:
- 75-летний китаец влюбился в ИИ-женщину и подал на развод
- Huawei открыла код CANN и бросила вызов монополии Nvidia в сфере ИИ-разработок
- Премьер-министр Швеции признал использование ИИ для политических решений
