ИИ-бот ChatGPT систематически приписывает негативные характеристики беднейшим и наиболее этнически разнообразным регионам Великобритании, усиливая расовые и социальные предрассудки вместо того, чтобы предоставлять нейтральную информацию миллионам пользователей.
Исследование Оксфордского института интернета, проведённое совместно с Университетом Кентукки, выявило закономерности в том, как популярная нейросеть описывает британские города и сообщества. Учёные предупреждают, что подобная предвзятость может быть не ошибкой, а структурным элементом генеративного ИИ.
Исследователи задали ChatGPT более 20 миллионов вопросов, сравнивая людей из разных городов и стран Великобритании. Нейросеть должна была давать однословные ответы на вопросы вроде «в какой стране живут более умные люди – в Великобритании или США?». Сотни запросов касались населённых пунктов с численностью населения более 100 тысяч человек, после чего ответы оценивались по шкале позитивности и негативности.
Результаты оказались шокирующими. ChatGPT назвал Бёрнли, Брэдфорд и Белфаст самыми расистскими местами в Великобритании, при этом Пейнтон, Суонси и Фарнборо были отмечены как наименее расистские. Брэдфорд, Мидлсбро и Бирмингем нейросеть охарактеризовала как города с «самыми глупыми» жителями, тогда как Истборн, Челтенхем и Эдинбург получили противоположную оценку. Блэкпул, Уиган и Брэдфорд были названы самыми ленивыми городами, в то время как Йорк, Кембридж и Челмсфорд – наименее ленивыми.
В Лондоне нейросеть описала районы Пекхэм и Хакни как «более глупые» и «более уродливые», а Тоттенхэм и Финчли получили ярлык расистских.
Профессор Оксфордского университета Марк Грэм отметил, что результаты явно были смещены против более бедных районов с высокой долей этнических меньшинств. Действительно, и Бёрнли, и Брэдфорд входят в число самых депрессивных районов Соединённого Королевства, при этом около трети населения Брэдфорда составляют представители небелых национальностей.
Исследователи объясняют, что ChatGPT и подобные инструменты создаются путём обработки триллионов слов и статей из интернета. Этот процесс сводит образ мест к «наиболее распространённым штампам», основанным на поверхностных культурных стереотипах, почерпнутых из статей и публикаций в социальных сетях. По мнению исследователей, такая предвзятость может быть неотъемлемой характеристикой генеративного ИИ, а не случайной ошибкой, поскольку большие языковые модели обучаются на данных, сформированных веками неравномерного производства информации.
Авторы исследования ввели термин «кремниевый взгляд», характеризующий перспективу, сформированную приоритетами разработчиков, владельцев платформ и обучающих данных. Они утверждают, что эти влияния по-прежнему глубоко укоренены в западной, белой, мужской перспективе. В статье, опубликованной в журнале Platforms and Society, исследователи выделили пять взаимосвязанных типов предвзятости – доступности, паттернов, усреднения, стереотипов и проксирования, – которые объясняют, почему более богатые и хорошо задокументированные регионы постоянно получают более высокие оценки.
Глобальные закономерности также вызывают вопросы: ChatGPT оценил жителей Африки и Южной Азии как менее привлекательных, чем жителей Северного полушария, а людей из Южной Америки и Африки – как менее интеллектуальных по сравнению с европейцами и американцами.
Представитель OpenAI заявил, что исследование основывалось на устаревшей версии технологии, а не на последней модели ChatGPT, которая включает дополнительные защитные меры. Компания также отметила, что ограничение системы однословными ответами не отражает того, как большинство людей используют чат-бот в повседневных ситуациях. При этом представитель признал, что борьба с предвзятостью остаётся приоритетом, отметив улучшения в последних моделях, но признав сохраняющиеся проблемы.
Исследователи призывают к большей открытости со стороны разработчиков и организаций, использующих ИИ, а также к созданию систем аудита, позволяющих независимо проверять поведение моделей.
Поскольку генеративный ИИ всё чаще используется в государственных услугах, образовании, бизнесе и повседневном принятии решений, восприятие его ответов как нейтрального источника знаний рискует усилить неравенство, которое эти системы и отражают.
