Аналитик исследовательской компании Gartner Деннис Сюй полушутя предложил блокировать доступ к нейросети Microsoft Copilot во второй половине дня в пятницу. По его мнению, к концу рабочей недели сотрудники слишком устают, чтобы внимательно проверять результаты работы искусственного интеллекта, которые могут оказаться некорректными или даже оскорбительными.
Своё заявление Сюй сделал на саммите Gartner по управлению рисками и безопасностью в Сиднее. Выступление было посвящено пяти главным угрозам, связанным с использованием Microsoft 365 Copilot. Пятый пункт в этом списке – риск генерации «токсичного» контента. Даже если нейросеть выдаёт фактологически точную информацию, она может оказаться неприемлемой с точки зрения корпоративной этики или общения с клиентами.
Чтобы снизить этот риск, аналитик советует включать встроенные фильтры Microsoft и постоянно обучать сотрудников главному правилу: любые тексты от искусственного интеллекта требуют обязательной валидации. Именно в пятницу днём, когда желание поскорее закончить работу преобладает над внимательностью, риск пропустить ошибку нейросети возрастает многократно – отсюда и идея пятничного «бана».
Главная угроза – корпоративные секреты
Из получасового доклада двадцать минут Деннис Сюй посвятил совершенно иной, куда более масштабной проблеме. Copilot, как выяснилось, мастерски вытаскивает на свет документы, к которым по ошибке был открыт слишком широкий доступ.
«Copilot делает документы с избыточным доступом более открытыми, – предупреждает эксперт. – Это не новый риск, а старая проблема, которую многократно усилил искусственный интеллект».
В качестве примера аналитик привёл ситуацию, когда рядовой сотрудник просит нейросеть найти информацию о структурных изменениях в компании, а в ответ получает строго конфиденциальный документ о грядущей реорганизации.
Это происходит потому, что Copilot умеет искать данные по всем сайтам в SharePoint. Встроенные в Microsoft инструменты контроля доступа – метки и списки контроля – сложны в управлении и часто подвержены человеческому фактору. Сюй отмечает, что уже давно просит Microsoft создать единый уровень снижения рисков, а пока советует компаниям тщательно мониторить, кто и к какому контенту обращается.
Взломы, плагины и обход ограничений
Помимо «токсичности» и утечек данных, Gartner выделяет ещё три серьёзные угрозы:
- Удалённое выполнение кода через вредоносные промпты (инъекции кода). Защититься от этого помогут фильтры инструкций и ограничение доступа нейросети к потенциальным источникам атак – например, к электронной почте.
- Доступ к чувствительным данным через сторонние приложения. Плагин, позволяющий Copilot искать информацию в интернете, включён по умолчанию, а вот доступ к сторонним SaaS-приложениям изначально закрыт. Эксперты рекомендуют разрешать ИИ общаться со сторонними сервисами только в случае крайней необходимости.
- Промпт-инъекции. Это попытки заставить нейросеть обойти заложенные в неё ограничения. Компании, поощряющие эксперименты сотрудников с ИИ, могут случайно спровоцировать их на проведение таких атак. Справиться с этим помогут чёткие внутренние регламенты, обучение персонала и фильтры безопасности контента в сервисе Azure OpenAI.
Возможно, настраивать все эти ограничения безопасникам стоит в пятницу утром – пока сотрудники ещё не успели расслабиться в ожидании выходных.
