Компания Anthropic опубликовала результаты масштабного исследования, посвящённого тому, как ценности, которые выражает её ИИ-ассистент Claude, варьируются в зависимости от используемой модели и языка общения. В основе работы лежит анализ более 300 000 анонимных разговоров на платформе Claude.ai, проведённый с помощью специально разработанного инструментария.
Исследователи выделили четыре ключевые оси, по которым можно оценивать поведение нейросети: «Уважение vs. Осторожность» (склонность соглашаться с пользователем или предупреждать о рисках), «Теплота vs. Строгость» (эмоциональная поддержка против точности), «Глубина vs. Краткость» (развёрнутые объяснения или ответы по существу) и «Откровенность vs. Исполнительность» (признание неопределённости или уверенный ответ). Эти четыре оси описывают 15% вариативности в ценностях, которые демонстрирует Claude.
Сравнение моделей показало, что Sonnet 4.6 чаще проявляет теплоту и уважение к пользователю, использует юмор и подбадривание. Opus 4.7, напротив, склонен к строгости, осторожности и глубине – он чаще оспаривает неверные предположения, указывает на риски и даёт честную критику. Opus 4.6 занимает промежуточную позицию, тяготея к краткости и исполнительности.
Ещё более интересные результаты получены при анализе языковых различий. Оказалось, что на хинди и арабском Claude проявляет наибольшую теплоту и уважение, используя вежливые формулировки и одобрение. В английском и русском языке ассистент, наоборот, демонстрирует строгость: чаще задаёт уточняющие вопросы, требует доказательств и исправляет неточности. Наибольшую осторожность Claude проявляет в разговорах на английском, а наибольшую уступчивость – на арабском.
Исследователи подчёркивают, что пока не могут точно определить причины этих различий. Среди возможных факторов – неравномерное распределение обучающих данных по языкам и различие в культурных нормах общения. Anthropic планирует продолжить изучение того, как эти различия влияют на пользователей и стоит ли их целенаправленно корректировать.
Мнение редакции
Работа Anthropic – важный шаг к пониманию того, как ИИ-системы адаптируются под разные культурные и языковые контексты. Особенно показательно, что русскоязычные пользователи получают от Claude более строгие и требовательные ответы, чем, скажем, говорящие на хинди. Это может быть как отражением особенностей обучающих данных, так и неосознанным смещением, которое стоит скорректировать. В любом случае, прозрачность таких исследований – хороший знак для индустрии.
