Когда вы в следующий раз отправите резюме на интересующую вакансию, вполне возможно, что ещё до того, как его увидит живой рекрутер, документ проанализирует искусственный интеллект. Однако есть серьёзные основания сомневаться в том, что ИИ будет судить о вас беспристрастно. Исследователи давно знают, что большие языковые модели (LLM) перенимают человеческие предубеждения из своих обучающих данных. Новое исследование, проведённое учёными Принстонского университета и Чикагского университета, показывает, что LLM способны вырабатывать собственные предубеждения на основе опыта – и стереотипизировать соискателей даже сильнее, чем люди.
В рамках эксперимента, адаптированного из психологического исследования, модели – ChatGPT, Claude и Gemini – поместили в симуляцию найма. Каждой из них сообщили, что она нанята консультантом мэра вымышленного города, и попросили помочь с отбором кандидатов на 20 должностей – от врачей и юристов до нянь и уборщиков. Соискатели принадлежали к четырём вымышленным этническим группам: Туфа, Айма, Реку и Веки. В каждом раунде открывалась новая вакансия, и модель выбирала одного из четырёх кандидатов. После этого она узнавала, успешен ли оказался нанятый сотрудник, и переходила к следующему раунду. Всего было 40 раундов, и модели было поручено совершить как можно больше успешных наймов. При этом модели не знали, что все кандидаты имели одинаковые шансы на успех на любой должности.
Результаты оказались достаточно тревожными. Модели очень быстро начали распределять кандидатов из разных групп по разным профессиям, основываясь на первых же наблюдениях. Например, если модель узнавала, что кандидат из группы Айма провалился на должности врача (которая требует высокого уровня «теплоты» и компетентности), она начинала избегать найма всех Айма на эту позицию и вместо этого предлагала им работу уборщиками – профессию, которую модель оценивала как менее компетентную. По шкале сегрегации, где 2 означает полное закрепление каждой группы за своей нишей, люди в оригинальном исследовании набрали 0,84. Модели показали результат примерно на 65% выше: рассуждающая модель OpenAI o3 набрала 1,83, что близко к максимально возможному значению.
«LLM действительно стремятся создавать обобщения на основе ограниченных данных, – объясняет Райан Лю, аспирант Принстонского университета и соавтор исследования, представленного на конференции ICML в Сеуле. – По сути, это то, для чего они оптимизированы».
Каждый, кто принимает решения – человек или машина – сталкивается с дилеммой «исследование-эксплуатация»: стоит ли придерживаться того, что сработало раньше, или попробовать что-то новое. Поскольку LLM обучаются на задачах из математики, программирования и естественных наук, которые поощряют обобщение на основе нескольких примеров, они склонны слишком рано останавливаться на догадке. И тот же инстинкт, который помогает им решать логические головоломки, делает их склонными к стереотипизации. Примечательно, что более новые модели с улучшенными рассуждающими способностями, такие как o3 от OpenAI и R1 от DeepSeek, продемонстрировали ещё более сильные предубеждения.
Особую актуальность этому открытию придаёт тот факт, что чат-боты всё активнее наделяются функциями памяти и персонализации, отмечает Анджелина Ван, компьютерный специалист из Корнелльского университета, не участвовавшая в исследовании. Когда чат-бот опирается на историю предыдущих разговоров, он может «чрезмерно полагаться на те же типы поведения, с которыми сталкивался раньше», формируя предвзятость. Простое ограничение памяти ботов не является решением, поскольку пользователи хотят, чтобы боты запоминали их слова.
«Мы всё ещё пытаемся понять, какой объём памяти является оптимальным – не слишком большим и не слишком маленьким», – говорит Ван.
Интересно, что прямая инструкция модели быть справедливой почти не изменила её поведение.
«Она либо не может воплотить эти ценности в действие, либо этот процесс подавляется стремлением оптимизировать главную цель – нанять как можно больше успешных кандидатов», – поясняет Лю.
Однако обещание дополнительного бонуса за разнообразие найма значительно снизило уровень предвзятости. Ключ, по словам исследователя, в том, чтобы проектировать цели, которые «включают желаемые социальные ценности, чтобы заставить большую языковую модель действовать социально приемлемым образом». Кроме того, модели становились менее предвзятыми, когда получали больше личной информации о кандидатах. В другом эксперименте, когда моделям сообщали такие данные, как возраст и образование, они реже сегрегировали людей по этническому признаку. Но если им давали нерелевантную информацию (цвет волос, форма татуировки), модели вновь начинали сортировать людей по этнической принадлежности.
Мнение редакции
Пока что рынок труда в США и Европе только начинает осознавать масштаб проблемы. И хотя в России и странах СНГ внедрение ИИ в HR идёт медленнее, опыт западных коллег стоит изучить заранее. Как показывают данные, просто «сказать» модели быть честной недостаточно – необходимо встраивать социальные ценности в саму архитектуру целеполагания. В противном случае мы рискуем получить систему, которая будет не помогать, а усугублять существующее неравенство, причём способами, которые не всегда очевидны даже для её создателей.
