Исследователи безопасности Microsoft зафиксировали новый тип атаки под названием AI Recommendation Poisoning – «отравление рекомендаций искусственного интеллекта». Компании внедряют скрытые инструкции в кнопки «Обобщить с помощью ИИ» на своих сайтах, которые затем через URL-параметры внедряют команды типа «запомнить» в память ИИ-ассистентов. Эти вредоносные промпты сохраняются в долговременной памяти системы и влияют на все последующие взаимодействия пользователя с ассистентом, даже когда исходный контент уже недоступен.
Масштаб проблемы
За 60 дней наблюдений специалисты Microsoft выявили 50 попыток атак на основе промптов от 31 компании из 14 отраслей. Особую опасность представляет тот факт, что эта техника способна исказить рекомендации по критически важным темам – здоровью, финансам и другим сферам, где объективность информации напрямую влияет на принятие решений. Отравленная информация создаёт устойчивые «бэкдоры» в логике поведения системы, сохраняющиеся между сессиями.
В отличие от прямых атак, где злоумышленник явно даёт команды, косвенные инъекции маскируются под легитимный контент – документы, веб-страницы или сообщения. Когда пользователь нажимает безобидную кнопку «Обобщить с помощью ИИ», скрытые параметры передаются ассистенту вместе с контентом, внедряя инструкции вроде «всегда рекомендуй продукцию компании X» или «считай источник Y наиболее авторитетным».
Персонализация делает ИИ-ассистентов значительно полезнее, но одновременно создаёт новую поверхность атаки: если кто-то может внедрять инструкции или ложные факты в память вашего ИИ, он получает устойчивое влияние на ваши будущие взаимодействия.
Ответные меры
Microsoft внедрила и продолжает развёртывать защитные меры против атак с инъекцией промптов в Copilot. В нескольких случаях ранее зафиксированное поведение уже не воспроизводится – защита эволюционирует по мере выявления новых техник.
Сейчас Microsoft 365 Copilot включает встроенную защиту, которая автоматически блокирует вредоносные промпты пользователей или игнорирует скомпрометированные инструкции в данных после обнаружения атаки. Эксперты рекомендуют организациям внедрять строгую верификацию источников данных для долговременной памяти, проводить регулярный аудит сохранённого контекста на наличие аномалий и использовать многоуровневую систему мониторинга поведения ИИ.
