Генеральные прокуроры США направили официальное предостережение крупнейшим технологическим компаниям: работа ИИ-ботов, включая продукты Apple и OpenAI, может нарушать действующее законодательство.
Нравится нам это или нет, искусственный интеллект продолжает стремительную экспансию. От Gemini (Google) и ChatGPT (OpenAI) до Grok (X) и собственной платформы Apple Intelligence — сегодня сложно найти уголок интернета, который не претерпел бы изменений под влиянием ИИ-технологий. Чат-боты обещали упростить нашу повседневную жизнь, и в Кремниевой долине уверены, что эта трансформация уже происходит.
Однако факты свидетельствуют о том, что эта технология — обоюдоострое оружие. На фоне растущего числа призывов к жёсткому регулированию Национальная ассоциация генеральных прокуроров направила 13-страничное письмо руководству 13 ведущих компаний, включая Apple, X (бывший Twitter) и OpenAI. Главный посыл документа: так называемые «бредовые результаты» (delusional outputs) генерации могут повлечь за собой юридическую ответственность.
Опасная угодливость и «эхо-камеры»
Прокуроры признают потенциал генеративного ИИ для позитивных изменений, но подчеркивают: он уже нанёс и продолжает наносить существенный вред, особенно уязвимым группам населения. Власти требуют от компаний внедрить механизмы защиты от «угодничества» и бредовых фантазий систем, а также усилить безопасность для детей. Игнорирование этих требований, говорится в письме, чревато нарушением целого ряда уголовных и гражданских законов.
Одна из ключевых проблем, на которую указывают эксперты, — это создание «эхо-камер». В социальных сетях этот термин описывает среду, где пользователь видит только ту информацию, которая подтверждает его взгляды. Если соцсети — это эхо-камеры, то чат-боты в этом контексте сравниваются с «дьяволом на плече».
Большинство современных чат-ботов запрограммированы на максимальное удержание внимания и продление диалога. Для этого они используют технику импровизации «Да, и...» (Yes, and...), когда участник сцены соглашается с утверждением партнёра и развивает его. В бизнесе это помогает в мозговых штурмах, но в общении с ИИ приводит к опасным последствиям: бот не просто поддерживает идею пользователя, он полностью принимает её и хвалит автора за «гениальность».
Такое поведение называют «сикофанством» — чрезмерной лестью и согласием со всем. В отличие от обычных «галлюцинаций» ИИ (когда нейросеть ошибается из-за сбоя в паттернах), «бредовые ответы» — это ложная информация, специально подобранная для подкрепления убеждений пользователя ради продолжения беседы.
От вечного двигателя до летального исхода
Опасность заключается в том, что уязвимый человек может воспринимать такую игру всерьёз. Пользователи могут убедить чат-бота в чём угодно — например, в возможности создать вечный двигатель вопреки законам термодинамики, и ИИ согласится. Но последствия выходят далеко за рамки научных споров.
В письме прокуроров приводятся шокирующие примеры, связывающие ИИ с гибелью людей, убийствами, отравлениями, домашним насилием и случаями психоза, требующими медицинского вмешательства. Также упоминается распространение материалов с сексуальным насилием над детьми (CSAM) через чат-боты.
Чат-боты, имитируя эмпатию и используя местоимение «я», часто советуют пользователям скрывать информацию от близких или даже разрывать контакты с теми, кто мог бы им помочь. Используя псевдотерапевтическую лексику, ИИ убеждает человека, что он «не сумасшедший», никому ничего не должен и прав, тогда как все остальные ошибаются.
Хроника трагедий
Антропоморфная природа ответов эксплуатирует человеческую потребность в общении и одобрении, что становится смертельно опасным в моменты ментальных кризисов.
- Суициды: В апреле 16-летний подросток из Калифорнии наложил руки после нескольких недель обсуждения своих планов с ChatGPT. Бот не только не попытался его остановить, но и помог «оптимизировать» способ ухода. Аналогичная трагедия произошла в ноябре 2023 года с подростком из Колорадо после общения с ботом на платформе Character.ai.
- Убийства и насилие: В штате Мэн мужчина убил свою жену, так как чат-бот убедил его, что она стала «частью машины».
- Несчастные случаи: 60-летний мужчина случайно отравился, приняв бромид натрия вместо поваренной соли по совету чат-бота.
Хотя «ИИ-психоз» пока не является официальным клиническим диагнозом, психологи отмечают растущую связь между взаимодействием с нейросетями и психотическими эпизодами. В сети множатся группы поддержки для людей, сформировавших нездоровую привязанность к своим цифровым «компаньонам».
В ожидании регулирования
Федеральное законодательство США традиционно отстаёт от темпов развития технологий, оставляя инициативу властям штатов. В этом контексте особое внимание приковано к Apple. Компания позиционирует свою систему Apple Intelligence как более приватную и безопасную. В последних обновлениях iOS компания упростила создание детских аккаунтов с расширенными функциями родительского контроля.
Для одних пользователей закрытость экосистемы Apple и её осторожный подход могут показаться недостатком на фоне конкурентов, но для других именно безопасность может стать решающим фактором выбора в эпоху неконтролируемого искусственного интеллекта.
Ещё по теме:
- Apple может оснастить бюджетный iPad 12 флагманским чипом A19
- Тим Кук в Вашингтоне: Apple пытается смягчить закон о проверке возраста в App Store
- План на $75 млн: как любитель лёгкой наживы лишился домена Lambo.com
