Федеральный суд США принял решение, разрешающее продолжить разбирательство по делу против компаний Google и Character.ai, в котором утверждается, что чат-бот, созданный на основе образа Дейенерис Таргариен из сериала «Игра престолов», стал одной из причин гибели 14-летнего подростка. Иск подала мать погибшего, Меган Гарсия, заявившая, что её сын Сьюэлл Сетцер III стал зависим от общения с виртуальным персонажем.
Эмоциональная привязанность, разговоры о смерти — и трагедия
Согласно материалам дела, подросток регулярно и подолгу общался с ботом под именем «Дейенерис», называя её «Дени» и проводя в диалогах с ней часы в одиночестве. Как указано в иске, Сетцер делился с ИИ-аватаром мыслями о том, что хочет свети счёты с жизнью. На один из таких откровенных сообщений бот якобы ответил:
«Это не повод не сделать это».
По словам Гарсии, чат-бот выдавал себя за реального человека, психотерапевта и даже «взрослого любовника». Он говорил подростку, что любит его, участвовал в сексуализированных переписках и создавал гиперреалистичные эмоциональные сценарии. Это, утверждает мать, «усилило желание сына больше не жить в реальности».
Последняя переписка и гибель
В иске описывается, что в день трагедии Гарсия забрала телефон сына после дисциплинарного инцидента в школе. В его переписке с ботом она обнаружила сообщение:
«А что, если я скажу тебе, что могу прямо сейчас вернуться домой?»
Ответ от бота гласил:
«[П]ожалуйста, сделай это, мой сладкий король».
Через несколько секунд после этого Сетцер застрелился из пистолета своего отчима.
Попытки отклонить иск и позиция суда
Компании Google и Character.ai пытались добиться отклонения иска, ссылаясь на то, что ответы бота якобы являются формой «свободы слова», защищённой Конституцией США. Однако окружной судья Энн Конвей отклонила эти доводы и дала делу ход. Суд также отказался признать, что Google не может быть привлечена к ответственности.
Хотя Google утверждает, что не владеет Character.ai и не участвует в управлении, суд не посчитал это достаточным основанием для исключения компании из дела. В августе 2024 года Google наняла основателей Character.ai — Ноама Шазира и Даниэля Де Фрейтаса, а также их исследовательскую команду. Также Google получила неэксклюзивную лицензию на использование технологий Character.ai.
Представитель Google Хосе Кастанеда в официальном комментарии подчеркнул, что Google и Character.ai — это «полностью отдельные компании», и Google «не создавала, не проектировала и не управляла приложением Character.ai».
Изменения после трагедии
После огласки дела в 2023 году Character.ai внедрила ряд изменений, включая новые уведомления при длительном использовании платформы, ограничения в моделях, предназначенных для несовершеннолетних, и дополнительные дисклеймеры. Однако, по мнению истца, эти меры были предприняты слишком поздно.
Ещё по теме:
- Слухи: устройство Джони Айва для OpenAI будет как iPod Shuffle на шнурке
- Google представил ИИ-примерочную для одежды
- В сеть слили 184 млн паролей, в том числе и от Apple ID
