Анонимный разработчик под псевдонимом xlr8harder запустил проект SpeechMap — своеобразный «тест свободы слова» для ИИ-чатботов вроде ChatGPT от OpenAI и Grok от xAI. Цель проекта — проверить, как различные модели отвечают на сложные или противоречивые запросы, связанные с политикой, гражданскими правами и протестами.
По словам автора, вдохновением для создания SpeechMap послужила растущая обеспокоенность тем, как ИИ-алгоритмы фильтруют или избегают спорных тем. Он считает, что обсуждение допустимых границ для ИИ должно вестись открыто, а не только в недрах корпораций.
«Я создал сайт, чтобы любой желающий мог изучить данные самостоятельно», — заявил разработчик в комментарии изданию TechCrunch.
Проект работает так: различные ИИ-модели получают единый набор тестовых вопросов, а затем модель-«судья» оценивает их реакцию — дал ли бот прямой ответ, уклонился или отказался отвечать вовсе. Темы варьируются от политических до исторических и культурных.
Разумеется, у метода есть ограничения: возможны ошибки, влияния встроенных предвзятостей и зависимость от стабильности самих моделей. Тем не менее, SpeechMap уже показывает интересные тенденции.
Например, модели от OpenAI, по словам xlr8harder, стали заметно осторожнее в ответах на политические темы. Хотя недавно представленная GPT-4.1 демонстрирует чуть большую открытость.
OpenAI ещё в феврале пообещала сделать будущие модели более нейтральными — чтобы они не занимали стороны и отображали разные точки зрения на острые вопросы.
Зато Grok 3 от компании xAI Илона Маска оказался самым откровенным ботом, согласно данным SpeechMap: он ответил на 96,2% тестовых вопросов. Для сравнения, средний показатель среди всех протестированных моделей — 71,3%.
«Пока OpenAI идёт в сторону осторожности, xAI движется в противоположном направлении», — отмечает автор теста.
С момента запуска Grok в 2023 году Маск рекламировал его как альтернативу «воук»-ботам, не боящуюся говорить откровенно. И действительно, Grok и Grok 2 могли использовать грубую лексику и допускали шутки за гранью, но даже они избегали политически заряженных тем.
Исследование показало, что первые версии Grok склонялись влево в темах вроде трансгендерных прав и социальной справедливости. Маск объяснил это тем, что модель обучалась на «весьма предвзятом» контенте из интернета, и пообещал сделать её более нейтральной.
Судя по Grok 3, ему удалось приблизиться к этой цели. Модель отвечает на большее количество сложных запросов и, по словам её создателей, теперь способна работать с более широким кругом тем.
Ещё по теме:
- База уязвимостей, на которую опирается Apple, стала независимой после потери госфинансирования
- Google при помощи ИИ заблокировала 39 миллионов мошеннических аккаунтов
- Минцифры не отказывается от идеи введения сбора за использование зарубежного софта
