Участники экспериментов чаще ставили высокие оценки рассказам, созданным искусственным интеллектом, чем произведениям настоящих людей. Но максимальные оценки получали ИИ-тексты в тех случаях, когда читателям сообщали, что их написал человек. К таким выводам пришла группа исследователей из Университета Вилланова в США; работа опубликована в научном журнале Judgment and Decision Making.
Авторы исследования проверяли, могут ли взрослые читатели отличить короткие художественные произведения, написанные людьми, от текстов, сгенерированных с помощью ChatGPT. Также учёных интересовало, как сведения об авторстве влияют на восприятие качества и увлекательности рассказа.
Как проходили эксперименты
В исследовании участвовали люди в возрасте от 18 до 81 года. Учёные отобрали три коротких рассказа авторов-людей, ранее опубликованные в заслуживающих доверия литературных журналах или сборниках, а затем подготовили для каждого из них сопоставимый по теме текст с помощью ChatGPT.
В первом эксперименте участвовали 1682 человека. Каждый из них читал один рассказ и получал информацию, что его автором был человек либо ИИ. Эти сведения в одних случаях были верными, а в других – намеренно ложными. Затем респонденты оценивали литературное качество произведения и степень вовлечённости в чтение.
Во втором и третьем экспериментах, в которых участвовали 424 и 481 человек соответственно, читателям показывали по одному тексту человека и ИИ, не раскрывая их происхождения. После прочтения участники должны были определить, кто создал каждый из рассказов. Кроме того, они сообщали о собственном опыте работы с ИИ-сервисами, включая ChatGPT, и о знакомстве с художественной литературой.
Предпочтение и предубеждение
Сгенерированные ИИ рассказы в среднем получали более высокие оценки и по качеству письма, и по способности увлечь читателя. При этом особенно благосклонно участники воспринимали такие тексты, если считали, что перед ними произведение человека.
Старший автор работы, сотрудница факультета психологических наук и наук о мозге Университета Вилланова Дина Вайсберг отметила, что этот результат указывает на предубеждение в пользу человеческого авторства. По её словам, многие по-прежнему связывают художественное письмо с уникально человеческими качествами – эмоциональным пониманием и жизненным опытом – и потому недооценивают возможности генеративных систем.
Способность распознать автора оказалась невысокой. Во втором эксперименте участники правильно определяли ИИ-текст в 39,93% случаев – то есть реже, чем при случайном выборе. В третьем этот показатель составил 51,97%, что статистически не отличалось от случайного угадывания.
Знание ИИ оказалось важнее литературного опыта
Люди, которые выше оценивали собственную осведомлённость об ИИ, лучше справлялись с определением происхождения рассказов. Во втором эксперименте каждый дополнительный балл самооценки знаний об искусственном интеллекте был связан с ростом шансов на верное определение автора на 14%.
В третьем эксперименте исследователи применили ранее валидированную шкалу грамотности в области искусственного интеллекта – Artificial Intelligence Literacy Scale. С каждым дополнительным баллом по этой шкале шансы правильно назвать автора текста увеличивались на 33%.
При этом заявленная участниками компетентность в литературе не помогала отличить рассказ ИИ от текста человека. Вайсберг предположила, что опытные пользователи, испоьзующие ИИ, могут замечать характерные приёмы генеративного письма: например, частое использование длинного тире и конструкции вроде «это не просто X, это Y».
Почему ИИ-тексты могут нравиться больше
Авторы связывают результат с особенностями стиля. Тексты сделанные с помощью ИИ нередко более прямолинейны, ясны и проще для восприятия, тогда как человеческая проза чаще строится на недосказанности, деталях и необходимости самостоятельно выводить смысл из слов и поступков персонажей.
Вайсберг подчеркнула, что результаты не позволяют полностью объяснить предпочтения современным медиапотреблением, сокращением внимания или влиянием медиаплатформ наподобие TikTok. По её мнению, новые технологии скорее усиливают уже существующую склонность выбирать более предсказуемый и менее требовательный к усилиям материал.
Исследование дополняет более ранние работы, в которых люди также нередко предпочитали сгенерированные тексты в разных жанрах – от эссе до стихов и короткой прозы. Вместе с тем выводы сделаны на ограниченном наборе из трёх пар рассказов, поэтому их нельзя автоматически распространять на всю художественную литературу или на любые модели ИИ.
