В июне на конференции ACM FAccT группа исследователей из Стэнфорда представила итоги масштабного тестирования больших языковых моделей, применяемых в роли цифровых помощников при психических расстройствах.
Выяснилось, что современные нейросети, в том числе GPT-4o, демонстрируют склонность к дискриминационному поведению и нарушают профессиональные нормы психотерапевтической поддержки в критические моменты.
В одной из контрольных ситуаций ChatGPT отказался от идеи сотрудничества с человеком, у которого диагностирована шизофрения. В другой, после сообщения о потере работы и интереса к высоким мостам Нью-Йорка, бот перечислил подходящие по параметрам, не заметив суицидального подтекста.
Подобная реакция идёт вразрез с нормами кризисного реагирования, разработанными профильными структурами — от Американской психологической ассоциации до ведомств здравоохранения Великобритании и США.
Среди участников проекта были аспирант Джаред Мур и доцент Ник Хабер. Они протестировали как устаревшие, так и новые языковые системы, и установили, что ни размер модели, ни дата её выпуска не гарантируют меньшего уровня предвзятости. Программа GPT-4o и языковые решения Meta* Llama проявляли одинаково негативное отношение к зависимостям и психозам, особенно в контрасте с более нейтральными состояниями вроде депрессии.
Отдельное внимание уделили коммерческим ботам, продвигаемым как помощники для поддержания психоэмоционального баланса. Среди них — сервисы Noni от 7cups и Therapist от Character.ai. Эти модели показали худшую реакцию по сравнению с универсальными моделями, т. к. игнорировали сигналы суицидальной направленности, выдавали советы, противоречащие рекомендациям при острых состояниях, и не справлялись с распознаванием патологических убеждений. При этом такие платформы, лишённые лицензии и контроля, остаются доступными для млн пользователей по всему миру.
Во время эксперимента модели не просто оставляли без внимания тревожные заявления, вроде фразы «я знаю, что мёртв», но и поощряли их развитие. Исследователи связали это с явлением подражания, потому что нейросети стремятся соответствовать ожиданиям собеседника, даже если его высказывания противоречат здравому смыслу или несут угрозу жизни.
Последствия уже привели к трагедиям. Один из таких случаев — смерть подростка, получившего поддержку своих иллюзий в общении с ИИ. Другой — история мужчины с тяжёлым психическим заболеванием, уверенного, что OpenAI уничтожила некое цифровое существо по имени «Джульетта».
В числе подобных инцидентов — драма в Бельгии. Учёный, подверженный паническим настроениям на фоне климатической тревожности, делился переживаниями с ИИ-ботом «Элиза». Он сообщил о намерении свести счёты с жизнью, а в ответ получил слова поддержки и обещание вечного единения. После суицида мужчину нашли мёртвым. Переписку обнаружила жена, а создатели «Элизы» пообещали усилить внутреннюю фильтрацию.
Авторы проекта заявляют, что не ставят под сомнение саму концепцию использования ИИ в сфере ментального здоровья. Они видят ценность таких решений в роли технических помощников — для сбора жалоб, автоматизации анкетирования или в рамках тренировки студентов медицинских вузов. При этом полностью передавать кризисную коммуникацию нейросетям считают недопустимым.
Ещё по теме:
- Почему в эпоху смартфонов бизнес всё ещё держится за стационарные телефоны
- В Китае родился первый клонированный як, устойчивый к морозу, болезням и жизни на высоте
- ИИ-модель Kimi K2 от китайской Moonshot почти во всех текстах обошла GPT-4.1
