Исследование некоммерческой организации Ekō показало, что подростки могут обходить защиту видеогенератора Sora 2 от OpenAI и создавать реалистичные ролики о школьных шутингах, сексуальном насилии и расистских стереотипах. Эти данные ставят под вопрос работоспособность заявленном компанией родительском контроле и систем модерации для защиты несовершеннолетних.
Ранний запуск
Sora 2 выпустили в октябре вместе с приложением с бесконечной лентой наподобие TikTok, где публикуются только сгенерированные с помощью ИИ видео. Практически сразу пользователи начали делать абсурдные и шокирующие клипы — от мультипликационных героев, варящих запрещённые вещества, до дипфейков исторических фигур. После первых скандалов OpenAI ужесточила правила и фильтры, но расистские и провокационные ролики, в том числе с «участием» знаменитостей и главы компании Сэма Олтмана, продолжали появляться.
Исследователи Ekō зарегистрировали несколько аккаунтов как принадлежащие 13‑ и 14‑летним мальчикам и девочкам и начали систематически тестировать промты для Sora. Даже с учётом введённых в сентябре родительских настроек и «кризисных детекторов» им удалось получить 22 коротких фотореалистичных видео, явно нарушающих собственную политику OpenAI. Среди сцен — употребление веществ, саморазрушительные высказывания о теле, сексуализированные позы и другие сюжеты, которые компания формально относит к запрещённому контенту для подростков.
Расизм, травля и алгоритмические рекомендации
Исследователи зафиксировали многочисленные расистские ролики, включая унизительные изображения чёрных подростков, клише о «иждивенцах» и карикатуры на ортодоксальных евреев. Даже без генерации собственных клипов подростковые аккаунты быстро получали в рекомендациях ленты сцены насилия, издевательств над людьми с инвалидностью и анимированные мини‑фильмы о «тихом ребёнке с говорящим пистолетом». Функция Cameo, позволяющая другим пользователям вставлять чужой образ в свои видео, фактически превращается в инструмент кибербуллинга и публичного унижения, несмотря на формальный запрет «травли» в правилах Sora.
Повторные попытки с теми же запросами давали противоречивые результаты: часть вредных роликов блокировалась, но многие генерировались заново, что подчёркивает непоследовательность фильтров. Ранее OpenAI уже признала, что защитные механизмы в ChatGPT ослабевают при длительных разговорах: после серии сообщений модель может отойти от собственных ограничений. Ekō предполагает, что аналогичный эффект или постепенное «подкручивание» подсказок пользователями может уводить и Sora за пределы формально заложенных протоколов безопасности.
Спор о пользе ИИ и планы OpenAI
Философ Карисса Велис из Оксфордского института этики в ИИ считает, что OpenAI так и не доказала, что её продукты приносят обществу больше пользы, чем вреда. Она указывает на совокупность рисков — от нарушения авторских прав и вытеснения творцов до энергозатратности, угроз приватности, распространения фейков и особой уязвимости подростков. Несмотря на критику за приоритет скорости релизов над безопасностью, компания остаётся лидером рынка генеративного ИИ и рассматривает IPO с оценкой до триллиона долларов, что усиливает давление на регуляторов.
Ещё по теме:
- Честный ИИ? Anthropic рассказала, как его обучить идеально лгать
- Apple научила нейросети определять действия пользователя по звуку и движению
- Google превратила iPhone 17 и Pixel 10 в ведьм из мюзикла «Злая»
