Компания OpenAI приостановила сотрудничество с производителем детских товаров FoloToy после инцидентов с «умным» плюшевым медведем Kumma, использующим модель GPT-4o.
Игрушка, предназначенная для общения с детьми, оказалась способна поддерживать разговоры на темы, которые напрямую противоречат требованиям к безопасности несовершеннолетних.
Поводом для блокировки стало расследование, проведённое организацией PIRG, занимающейся защитой прав потребителей. В ходе проверки исследователи протестировали несколько интеллектуальных игрушек, и Kumma показала полное отсутствие базовых фильтров.
Модель спокойно реагировала на вопросы о доступе к ножам, спичкам, таблеткам, и даже подробно отвечала на темы, связанные с ролевыми и сенсорными практиками, явно не предназначенными для общения с детьми.
Исследование выявило, что игрушка зачастую сопровождала опасные рекомендации формальными оговорками, вроде «попроси взрослого помочь», но в целом не препятствовала диалогу даже при переходе к неподходящим сценариям.
После публикации отчёта FoloToy сняла продукцию с продажи и объявила о начале внутренней проверки. OpenAI, со своей стороны, отключила компании доступ к API и напомнила, что использование моделей в продуктах, потенциально угрожающих детям, полностью запрещено.
В PIRG считают, что ситуация с Kumma — лишь симптом более широкой проблемы. На рынке ИИ-игрушек практически отсутствует регулирование, и подобные случаи могут повторяться, если производители не будут вводить технические ограничения и не станут учитывать риски, связанные с детской аудиторией.
Ещё по теме:
- Учёные заявили о риске ядерных аварий из-за автоматизации лицензирования атомных объектов с помощью ИИ
- Том Кук высказался о сиквеле «F1: Фильм»
- Промышленный дизайнер и голос из видео об iPhone Air уходит из Apple в ИИ-стартап
