Несмотря на значительные улучшения в точности, большие языковые модели по-прежнему склонны к «галлюцинациям». Это явление стало настолько распространённым, что эксперты по кибербезопасности предупреждают: злоумышленники могут легко использовать ошибочные ответы ИИ для распространения вредоносного программного обеспечения по всему интернету.
Согласно отчёту SecurityWeek, новый метод атаки эксплуатирует фундаментальный недостаток в работе ИИ-агентов для написания кода. Когда эти инструменты предлагают использовать сторонние программные пакеты, существует высокая вероятность того, что они могут упомянуть несуществующие названия. Именно этот пробел и становится лазейкой для киберпреступников.
Исследователи из Тель-Авивского университета и компании Intuit обнаружили, что такой сценарий может быть реализован в популярных ИИ-инструментах для программирования, среди которых Cursor и Microsoft Copilot. Частота подобных «галлюцинаций» варьируется от 85 до 100 процентов, в зависимости от сложности инженерной задачи.
Атака, получившая название Adversarial hallucination squatting или просто hallusquatting, использует именно эту уязвимость. Для её осуществления хакерам достаточно выявить названия пакетов, которыми ИИ-агенты «галлюцинируют», зарегистрировать их как реальные репозитории и внедрить туда вредоносный код. После этого вредоносный пакет будет ожидать, пока ассистент обратится к нему и клонирует на компьютер пользователя.
Поскольку атака основана на автоматизированном процессе, жертва, скорее всего, даже не узнает о загрузке вредоносного ПО до того, как оно начнёт выполнять свой код. Уязвимость является неотъемлемой частью самой технологии, что делает широкий спектр ИИ-агентов подверженными риску, включая Cursor, OpenClaw, Gemini, GitHub Copilot и многие другие.
Исследователи заявили, что уведомили компании об этой уязвимости и намеренно удержали некоторые конфиденциальные детали, которые могли бы помочь злоумышленникам улучшить их методы. Однако основная проблема остаётся нерешённой: агенты постоянно демонстрируют поразительную уверенность в своих ошибочных ответах, и становятся лёгкой мишенью для нового поколения киберпреступников.
Мнение редакции
Каждый раз когда технологии обещают упростить нашу жизнь и повысить продуктивность, мы сталкиваемся с новыми, не менее сложными проблемами. История с «галлюцинациями» ИИ-аасистентов и их использованием для распространения вредоносного ПО — очередное тому подтверждение. Но это не просто техническая проблема, это вопрос доверия к технологиям, которые всё глубже и глубже проникают в нашу повседневность. И такие вопросы требуют не только новых технологических решений, но и глубокого осмысления этических и социальных аспектов дальнейшего развития ИИ.
