Международная группа исследователей опубликовала данные о масштабном эксперименте, показавшем неожиданный побочный эффект развития текстовых ИИ-моделей.
Современные чат-боты стали эффективнее в убеждении людей, но при этом реже опираются на достоверные факты, заявляют аналитики. К примеру, выяснилось, что в течение 10 минут диалога ИИ способен изменить мнение человека, используя насыщенные фактами аргументы, и нередко среди этих данных встречается дезинформация.
В исследовании принимали участие 19 языковых моделей, от самых популярных до экспериментальных. Около 80 тыс. участников приняли участие в эксперименте и провели диалоги, в которых ИИ пытался склонить их к определённой позиции, например, поддержке медицинской реформы или либерализации иммиграционной политики.
Анализ показал, что наибольший эффект производило не статичное сообщение, а живая переписка из 6-7 реплик, растянутая на 10 минут.
Во время таких диалогов боты выдавали до 25 утверждений, опираясь на технику, известную как «галоп Гиша». Суть приёма в быстром предъявлении большого количества фактов и цифр, не позволяющем собеседнику проверить их достоверность. В результате создаётся эффект аргументированной позиции, даже если часть приведённых данных неточна или полностью вымышлена.
Исследование показало, что по мере развития диалога точность высказываний падала. Для модели GPT-4, одной из самых мощных в своём классе, уровень достоверности снизился с 78% до 62% по мере увеличения количества реплик. То есть ИИ становился всё более убедительным, одновременно опираясь на всё менее проверенные данные.
Первоначально специалисты полагали, что языковые модели смогут активно бороться с дезинформацией, выявляя и опровергая ложные теории. Но новые результаты ставят этот тезис под сомнение. Механизмы генерации текста, встроенные в ИИ, могут использоваться не только в просветительских целях, но и для воздействия на общественное мнение, вплоть до манипуляций и подмены понятий.
Авторы заявляют, что эффект возникает не в самой модели, а в формате её использования. Платформу, основанную на языковом ИИ, можно настроить для агитационных кампаний в чатах, на сайтах поддержки или в мессенджерах.
В исследовании указывается, что с бюджетом около $50 000 организация со средними ресурсами способна развернуть такую систему за считанные недели. Поддержание долгосрочного диалога остаётся сложной задачей, но краткосрочное влияние уже даёт о себе знать.
