В заголовках новостей всё чаще мелькает тревожный термин «агентный ИИ», вызывая споры о безопасности технологий будущего. В центре этих исследований находится Сарра Алькахтани, доцент информатики Университета Уэйк-Форест, чья работа посвящена новой области — мультиагентному обучению с подкреплением (MARL).
Алькахтани получила престижный грант CAREER от Национального научного фонда США (NSF). Её цель — разработать стандарты и бенчмарки, гарантирующие, что системы мультиагентного ИИ продолжат работать корректно, даже если один из «агентов» выйдет из строя или будет взломан хакерами.
Агенты ИИ — это не просто алгоритмы поиска информации, подобные большим языковым моделям (LLM), которые лежат в основе ChatGPT или Google Gemini. Агенты способны думать и принимать решения, реагируя на меняющуюся среду. Яркий пример — флот беспилотных автомобилей, координирующих свои действия на дороге. Мультиагентный ИИ открывает безграничные возможности, но цена ошибки здесь может стоить человеческих жизней.
Чем агенты отличаются от ChatGPT?
«ChatGPT обучается на огромных массивах текста, чтобы предсказывать следующее слово или ответ. Это процесс, управляемый написанным людьми контентом», — объясняет Алькахтани.
Агенты, которые создаёт её команда, работают иначе: они мыслят, рассуждают и принимают решения на основе динамического окружения. Они не просто прогнозируют, но и оценивают уровень неопределённости вокруг себя: «Безопасно ли мне принять решение самому или стоит запросить помощь человека?».
Если интеллект чат-ботов ограничен текстом, то агенты живут в реальной среде и своими действиями меняют её — подобно беспилотнику на трассе.
Как работает обучение «стаи»?
В мультиагентном обучении с подкреплением (MARL) группа агентов сотрудничает для выполнения общей задачи. Представьте команду медицинских дронов, доставляющих кровь или лекарства. Им нужно координироваться в реальном времени: ускоряться, замедляться или ждать, чтобы избежать столкновений.
«Мои исследования направлены на создание алгоритмов, которые помогут им действовать эффективно и безопасно, не причиняя вреда ни себе, ни людям», — говорит Алькахтани.
Обучение с подкреплением имитирует то, как учатся люди: через пробы и ошибки. Агенты получают «награды» за правильные действия и «наказания» за ошибки. Это математический сигнал для «мозга» агента, закрепляющий правильное поведение.
Учёные заранее моделируют проблемы, которые могут возникнуть в реальном мире, и исправляют уязвимости до развёртывания систем. Работа Алькахтани призвана создать фундаментальные стандарты для этой пока ещё недостаточно развитой, но перспективной области.
«Эффект домино» и риски взлома
При всех преимуществах — от выполнения опасных работ до восполнения дефицита кадров в здравоохранении — мультиагентный ИИ несёт серьёзные риски.
«Когда я начинала работать с MARL, я заметила: стоит внести небольшие изменения в среду или описание задачи, как агенты начинают ошибаться», — отмечает исследовательница. Без миллионов циклов переобучения на конкретной задаче они не могут быть полностью безопасными.
Ещё одна критическая угроза — компрометация одного из участников системы. Если злоумышленник перехватит управление одним агентом и изменит его поведение, это разрушит работу всей команды. Остальные агенты, столкнувшись с неожиданным поведением «напарника», также начнут принимать неверные решения.
Сейчас алгоритмы тестируются в игровых симуляциях, где правила ясны, а ошибки безопасны. Главный вызов — перенести эти системы в реальный мир, сохранив предсказуемость их поведения.
«Меня беспокоит не научная фантастика о восстании машин, а то, как именно мы будем внедрять ИИ. Мы должны быть уверены, что алгоритмы понятны нам и конечным пользователям ещё до запуска», — подчёркивает Алькахтани.
Дроны против нелегальных золотодобытчиков
В рамках своего гранта Алькахтани будет тестировать алгоритмы MARL в экстремальных условиях — на группах дронов, патрулирующих тропические леса перуанской Амазонии.
Задача беспилотников — выявлять незаконную добычу золота. При этом дроны должны не только эффективно искать нарушителей, но и беречь себя — например, уклоняться от выстрелов, которые могут открыть по ним нелегальные старатели. Проект реализуется совместно с Центром окружающей среды и устойчивого развития Сабина при Университете Уэйк-Форест и командой экспертов, включающей инженеров, экологов и биологов.
Главная цель — научить агентов выполнять миссию, сохраняя целостность оборудования и безопасность людей.
Вопрос доверия: такси или робот?
На фоне хайпа вокруг ИИ возникает резонный вопрос: можно ли доверять этим системам?
«Я доверяю ИИ, над которым работаю. Я бы перевернула вопрос: доверяю ли я людям, которые работают над ИИ?» — говорит Алькахтани. Она приводит аналогию: кому вы доверитесь больше в чужом городе посреди ночи — незнакомому водителю Uber или беспилотнику, протестированному в идентичных ситуациях?
«В этом случае я выберу беспилотник. Но я хочу понимать, что он делает», — уточняет она.
Именно объяснимость действий ИИ — ключ к доверию. Пользователь должен иметь возможность спросить систему: «Что случится, если я сделаю это?» или «Как ты поведёшь себя в такой ситуации?». Понимание логики машины делает её более надежной в глазах человека.
По мнению Алькахтани, правильный вопрос звучит так:
«Прилагаем ли мы достаточно усилий, чтобы сделать эти системы заслуживающими доверия?».
