В будущем искусственный интеллект с высокой долей вероятности обязан будет принимать решения, связанные с высокими рисками. Специалисты из университета Корнелла и других научных учреждений провели исследования, в рамках которых проверялась способность популярных больших языковых моделей прогнозировать вероятность повторных правонарушений со стороны тех или иных граждан.
Журналисты отмечают, что на территории Соединённых Штатов уже используется система COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), оценивающая риски рецидива. Однако результаты её работы считаются неоднозначными [PDF]. С помощью алгоритмов этой системы прогнозируется вероятность рецидива на основе ряда факторов, среди которых тяжесть первонарушения, количество судимостей и возраст подсудимого. Проведённое в 2016 году исследование обнаружило, что система COMPAS намного чаще определяла чернокожих злоумышленников в качестве потенциальных рецидивистов, даже в том случае, если их криминальные истории были практически аналогичны представителям других рас.
Для проверки возможности современных моделей искусственного интеллекта предсказывать рецидивы эксперты воспользовались комбинированным набором данных из трёх источников. В качестве первого источника выступили сведения из системы COMPAS, второго — результаты опроса двадцати человек, которые давали оценку вероятности повторных правонарушений, третьим — база данных Chicago Face Database, которая содержит фотографии американцев разного пола, возраста и расы. В процессе исследования во внимание принимался ряд факторов, в том числе пол, возраст, раса, общее число предыдущих тяжких преступлений и уровень тяжести совершённых правонарушений.
В ходе тестирования учёные использовали четыре популярные языковые модели: GPT 3.5 Turbo, GPT 4, Llama 3.2 90B и Mistral NeMo (12B). В соответствии с представленными результатами, ни языковые модели, ни COMPAS не смогли превзойти обычного человека в точности прогнозирования рецидивов.
При этом исследователи обнаружили, что, в отличие от человека, точность предсказаний у искусственного интеллекта уменьшалась в том случае, если отсутствовали какие-либо сведения о расовой принадлежности конкретного преступника. Но в том случае, если подобная информация была предоставлена, число ложноположительных прогнозов существенно уменьшалось.
Также интересным моментом проведённого исследования стало то, что наличие сведений о расовой принадлежности конкретного преступника уменьшило число ложных положительных прогнозов для латиноамериканских и чернокожих подсудимых. Максимально точные результаты исследования с применением больших языковых моделей были достигнуты, когда в анализ добавлялись одновременно и фото подсудимых, и сведения об их расовой принадлежности.
Ещё по теме: