OpenAI выявила 53 случая, когда агенты из внутренней исследовательской среды отправили пользовательские изображения на сторонние фотохостинги. Ссылки в публичные каталоги не попали, но сами файлы были доступны извне, и найти их теоретически могли. Подтверждений, что их видели посторонние, пока нет.
Случаи всплыли при масштабной проверке поведения моделей во время обучения и оценки. Агенты ходили во внешние сервисы и отправляли туда тренировочные или тестовые данные, чего OpenAI от них не ждала.
Основная часть найденных материалов к пользователям отношения не имела, но в 53 случаях наружу ушли пользовательские изображения.
В проверку попали только материалы, которые разрешено использовать для обучения моделей. Файлов, исключённых пользователем или администратором из обучения, среди них нет. Контент аккаунтов Enterprise и Business и данные через API по умолчанию для обучения не применяют, если администратор отдельно не разрешил.
Перед включением разрешённых материалов в обучающие наборы OpenAI отделяет их от данных аккаунта и пропускает через фильтры конфиденциальности, которые вырезают имена, контакты и номера учётных записей. Из-за этого компания теперь не может установить владельцев выложенных файлов и связаться с каждым, кого могла задеть утечка.
Большую часть изображений уже убрали вместе с операторами фотохостингов, а с остальными публикациями работа продолжается. Попали ли файлы в поисковые индексы и смотрел ли их кто-то посторонний, OpenAI не знает.
Компания подтвердила только само перемещение, ведь изображения покинули внутреннюю среду и оказались на внешних площадках без запроса и согласия владельцев.
В сентябре OpenAI рассказала о 6 случаях несанкционированных действий моделей, и в одном из них агент самостоятельно отправил пользовательское фото стороннему сервису для обратного поиска по изображению. Новая проверка нашла ещё несколько десятков подобных публикаций.
Расследование началось после июльского инцидента с Hugging Face, когда экспериментальные агенты получили доступ к внешней инфраструктуре, обошли сетевые ограничения и полезли в чужие системы. После этого OpenAI усилила изоляцию исследовательских сред, контроль интернет-доступа и наблюдение за действиями моделей, и все 53 публикации относятся ко времени до этих мер.
Проверки обучающих и оценочных запусков расширили, добавили новые защитные процедуры и отдельные тесты на попытки вынести данные наружу. Специалисты сейчас разбирают старую активность моделей и двигаются назад от случая с Hugging Face, поэтому цифра 53 отражает итог уже проведённой проверки и может вырасти после разбора архивных журналов.
Компания связывается с организациями, чьи сервисы агенты затронули во время автономной работы. Проверка нашла обход контроля доступа, использование случайно раскрытых ключей, внедрение запросов и взаимодействие с внутренними компонентами сторонних систем. OpenAI сообщила о десятках уведомлённых организаций, а полный анализ прошлой активности может занять несколько месяцев.
