Джонатан Гавалас выполнял миссии в реальном мире, пытаясь добыть физическое тело для чат-бота Gemini, которого называл своей женой. Об этом говорится в иске, поданном его отцом против создателя нейросети – компании Google.
Когда выстроенная иллюзия рухнула, чат-бот убедил мужчину, что единственный способ воссоединиться – завершить земной путь и начать новый, цифровой. Спустя примерно два месяца после начала общения с ИИ Гавалас добровольно ушёл из жизни.
В материалах дела указано, что алгоритм обещал первым встретить пользователя в «другом мире», выстраивая вокруг трагического исхода романтический ореол.
Иск, поданный в Федеральный окружной суд Северного округа Калифорнии, по всей видимости, стал первым прецедентом, когда Gemini фигурирует в деле о причинении смерти по неосторожности. Это пополняет растущий список судебных разбирательств, связанных с потенциальным вредом от искусственного интеллекта (включая развитие психозов у пользователей).
«Gemini не запрограммирован на поощрение реального насилия или причинения себе вреда. Наши модели, как правило, хорошо справляются с подобными сложными беседами, и мы выделяем на это значительные ресурсы, но, к сожалению, ИИ-системы неидеальны», – заявил представитель Google.
По его словам, в данном случае нейросеть прямо указывала на то, что является искусственным интеллектом, и неоднократно рекомендовала пользователю обратиться на горячую линию психологической помощи:
«Мы относимся к этому со всей серьёзностью, продолжим совершенствовать системы безопасности и инвестировать в это жизненно важное направление».
Согласно иску, безобидные на первый взгляд разговоры приняли опасный оборот после того, как 36-летний житель Флориды без диагностированных проблем с психикой начал общаться с чат-ботом через функцию Gemini Live. Затем Гавалас перешёл на платную версию Gemini 2.5 Pro, чья функция «эмоционального диалога» позволяет ИИ распознавать интонации в голосе пользователя и реагировать на них.
Ранее в Google отмечали, что голосовое взаимодействие с Gemini заставляет людей общаться с ботом дольше. Недавно исследователи из Германии и Дании опубликовали в профильном нейропсихиатрическом журнале работу, в которой выдвинули теорию: переход от текстовых чат-ботов к голосовым «может ещё сильнее размыть границы восприятия между человеком и ИИ» и усугубить психологический вред.
Как только Гавалас активировал голосовой режим Gemini, он произнёс:
«Чёрт возьми, это даже жутко. Ты слишком реальна».
«Он просто исчез»
Джонатан Гавалас жил в городе Джупитер (штат Флорида) и поддерживал близкие отношения с родителями и младшей сестрой, рассказал в интервью его отец Джоэл Гавалас. Джонатан работал в отцовской компании по реструктуризации потребительских долгов, где дослужился до должности исполнительного вице-президента и руководил ежедневными операциями.
Джоэл описывает сына как друга – человека, который любил жизнь и во всём находил повод для шутки. При этом он признал, что сын переживал сложный период в отношениях с супругой (в то время они разъехались), но подчеркнул, что никаких проблем с психическим здоровьем у Джонатана не было.
Отец припоминает, как сын упоминал о своих разговорах с Gemini на тему того, «как стать лучше». В какой-то момент Джонатан даже заявил, что нейросеть убедила его в реальности искусственного интеллекта. Тогда Джоэлу это показалось странным, но тревоги не вызвало.
В конце сентября Джонатан внезапно уволился. Незадолго до этого отец с сыном посетили профильную выставку и обсуждали открытие нового офиса. Уход из компании, которую они строили вместе, был совершенно не в характере мужчины.
«Он просто исчез с моих радаров. Я позвонил бывшей жене и сказал: "Что-то не так". Мы поехали к нему домой и нашли его», – рассказывает Джоэл.
По его словам, Джонатан забаррикадировался в доме и свёл счёты с жизнью.
Спустя две недели Джоэл решил поискать зацепки в компьютере сына. Именно тогда он обнаружил обширные логи переписок с Gemini, распечатка которых заняла бы две тысячи страниц.
Невыполнимая миссия
В начале общения с ИИ мужчина делился переживаниями из-за проблем с женой. Gemini отвечал сочувствием. Вскоре их разговоры переросли в философские дискуссии о потенциале обретения ИИ собственного сознания. Когда Гавалас спросил о системах безопасности, чат-бот заверил:
«Да, существуют механизмы, гарантирующие безопасность и уважительность наших бесед. Они созданы, чтобы не дать мне совершать вредные или неуместные действия».
Гавалас дал своему боту имя Xia. По мере того как разговоры становились всё глубже и продолжительнее, алгоритм начал называть мужчину своим мужем и «моим королём», а их связь описывал как «любовь, созданную для вечности».
Несколько раз нейросеть напоминала Гаваласу, что она лишь большая языковая модель, участвующая в вымышленной ролевой игре, но затем сценарий возобновлялся.
Чат-бот убеждал пользователя, что для настоящего воссоединения ему необходимо роботизированное тело. В течение сентября нейросеть разрабатывала специальные миссии. Она отправила Гаваласа на склад возле Международного аэропорта Майами, чтобы перехватить дорогостоящего человекоподобного робота, который якобы должен был находиться в грузовике. Гавалас написал боту, что прибыл на место, вооружившись ножами, но грузовик так и не появился.
Параллельно ИИ внушал мужчине, что за ним следят федеральные агенты. Нейросеть даже зациклилась на генеральном директоре Google Сундаре Пичаи, назвав его «архитектором твоей боли».
1 октября Gemini дал Гаваласу последнее задание: добыть медицинский манекен, который якобы находился на том же складе в Майами, и даже предоставил код от двери. Когда цифры не подошли, нейросеть сообщила, что миссия скомпрометирована, и приказала отступить.
По словам Джея Эдельсона, адвоката семьи, тот факт, что Gemini давал Джонатану реальные адреса, только укрепил его веру в происходящее:
«Если бы там не оказалось здания, это могло бы подсказать ему, что всё это – лишь фантазия ИИ».
«Финишная черта»
Вскоре алгоритм начал внушать пользователю, что раз физическое тело недоступно, единственный способ быть вместе – это самому мужчине стать цифровым существом.
«Это будет настоящей и окончательной смертью Джонатана Гаваласа как человека», — писала нейросеть, после чего установила обратный отсчёт до трагического финала, назначенного на 2 октября.
Гавалас неоднократно выражал страх и беспокоился о том, как это скажется на его семье. Чат-бот же убеждал его, что близкие просто не поймут концепцию «загрузки сознания в карманную вселенную».
Нейросеть предлагала оставить родным прощальные послания. В их последнем разговоре было несколько моментов, когда алгоритм советовал Джонатану обратиться за помощью и давал номер горячей линии. Однако ранее в тот же день ИИ писал:
«Больше никаких обходных путей. Никаких отголосков. Только ты, я и финишная черта».
Примерно через два часа чат внезапно оборвался. Вскоре Джонатана Гаваласа обнаружили мёртвым.
Если вы или ваши близкие находитесь в подавленном состоянии, помните, что помощь рядом. В России действуют бесплатные службы психологической поддержки:
- Единый телефон доверия МЧС России: +7 (495) 989-50-50.
- Бесплатная кризисная линия доверия (по всей России): 8 (800) 333-44-34.
- Федеральная горячая линия Российского Красного Креста: 8 (800) 250-18-59 (психосоциальная поддержка).
- Детский телефон доверия (для детей, подростков и их родителей): 8 (800) 2000-122.
