Представьте ситуацию: вы смотрите ролик или слушаете подкаст на фоне, пока занимаетесь домашними делами. В это же время киберпреступники получают полный доступ к вашим личным фотографиям, банковским счетам и другой конфиденциальной информации, привязанной к умным устройствам. Звучит как сценарий эпизода сериала «Чёрное зеркало», однако это уже суровая реальность. Группа специалистов по кибербезопасности доказала, что голосовых помощников в смартфонах и колонках можно незаметно взломать с помощью неслышимых для человеческого уха звуков.
Результаты этого исследования были представлены на недавнем Симпозиуме IEEE по безопасности и конфиденциальности. Команда учёных из Китая и Сингапура разработала так называемое «состязательное аудио» — особый скрытый сигнал, который заставляет алгоритмы искусственного интеллекта выполнять незапланированные и потенциально опасные действия. Этот вредоносный код легко маскируется под безобидный контент — музыку, фильм или любой другой аудиоряд, который ничего не подозревающая жертва может включить на своём устройстве.
По словам ведущего автора исследования Мэн Чэня, аспиранта Чжэцзянского университета, на обучение такого сигнала уходит всего около получаса. Главная опасность заключается в том, что атака абсолютно не зависит от контекста. Злоумышленники могут активировать скрытую команду в любой момент, независимо от того, что именно говорит пользователь, а сам алгоритм не способен отличить нормальный запрос от враждебного вмешательства.
На сегодняшний день у метода есть лишь одно техническое ограничение: для успешной атаки хакерам необходимо иметь доступ к полным весам – внутренним математическим параметрам — целевой ИИ-модели. Это означает, что под угрозой в первую очередь находятся системы с открытым исходным кодом. Тем не менее многие коммерческие продукты базируются именно на таких решениях. Исследователи подтвердили, что их эксплойт успешно работает против популярных платформ от корпорации Microsoft и французского стартапа Mistral.
Представители Microsoft уже прокомментировали ситуацию. В компании поблагодарили исследователей за проделанную работу, отметив, что подобные контролируемые тесты помогают совершенствовать защиту систем. Разработчикам также напомнили о необходимости внедрения дополнительных уровней безопасности при интеграции ИИ-моделей в потребительские приложения.
