Группа редакторов Википедии создала WikiProject AI Cleanup, «совместную работу по борьбе с растущей проблемой не подтверждённого источниками, плохо написанного контента, созданного искусственным интеллектом, в Википедии».

Цель проекта — защитить одну из крупнейших в мире информационных баз от распространения вводящей в заблуждение информации, сгенерированной с помощью ИИ, которая уже затронула результаты поиска, книги на Amazon и даже научные журналы.

«Некоторые из нас заметили распространённость неестественных текстов, явно сгенерированных ИИ, и смогли воспроизвести похожий “стиль” с помощью ChatGPT», — рассказал Ильяс Леблю, один из основателей WikiProject AI Cleanup. «Обнаружение общих фраз используемых ИИ позволило нам быстро выявить наиболее вопиющие примеры сгенерированных статей, что побудило нас создать организованный проект для сбора наших находок и методов».

В многих случаях участники проекта используют те же методы, что и другие исследователи, для обнаружения контента, созданного по средствам ИИ в научных журналах и Google Books — они ищут фразы, часто используемые чат-ботом ChatGPT.

Один из ярких примеров — статья в Википедии о Центре психического здоровья «Честер», которая в ноябре 2023 года содержала фразу: «На момент моего последнего обновления знаний в январе 2022 года», — отсылая к последней дате обновления модели искусственного интеллекта.

Другие случаи обнаружить сложнее. Леблю и другой основатель проекта, известный под псевдонимом Queen of Hearts, отметили самый «впечатляющий» пример — статью об османской крепости Амберлихисар.

В статье подробно описывалась история крепости:

«Крепость Амберлихисар была построена в 1466 году Мехмедом Завоевателем в Трабзоне, Турция. Крепость спроектировал армянский архитектор Остад Крикор Багсараджан. Строительство было завершено с использованием камня и кирпича, причём мастера и строители были приглашены из региона Румелия. Древесина для крепости была получена из лесов вдоль побережья Чёрного моря. Точная продолжительность строительства не указана, но известно, что крепость была завершена в 1466 году. Вероятно, строительство заняло несколько лет».

Статья объёмом более 2000 слов была наполнена связными параграфами, разделёнными на разделы о названии, строительстве, различных осадах и даже реставрационных работах после «значительных повреждений в результате бомбардировки российскими войсками» во время Первой мировой войны.

«Маленькая деталь: эта крепость никогда не существовала», — отметил Леблю. Кроме некоторых упоминаний реальных фактов, таких как личность Мехмеда Завоевателя, всё остальное в статье является вымышленным. «Вся статья была сфабрикованным обманом, созданным ИИ, с хорошо оформленными ссылками на несуществующие источники».

Леблю подчеркнул, что фейковые ссылки — более «коварная» проблема, поскольку они могут оставаться незамеченными в течение многих месяцев. Даже если ИИ-система использует релевантные данные, она может генерировать текст с правильно оформленными ссылками на реальные источники, но не сможет точно сопоставить цитату с конкретным утверждением в конкретной работе. Например, статья в Википедии об одном редком виде жука ссылалась на реальную научную статью на французском языке.

«Но проблема в том, что эта статья была о совершенно другом виде краба и не упоминала жука вообще», — пояснил Леблю. «Это усложняет ситуацию, особенно если источники не на английском языке, что затрудняет обнаружение ошибки для большинства читателей и редакторов».

Другие примеры контента, созданного ИИ и удалённого усилиями проекта, более специфичны, но могут вызвать не меньшее замешательство. Так, в статье о Дар уль-Улюм Деобанд, реальном исламском семинарии в Индии, в какой-то момент было размещено изображение, которое на первый взгляд выглядело как соответствующая эпохе иллюстрация.

Однако при более тщательном рассмотрении можно было заметить характерные признаки некачественно сгенерированных людей с искажёнными руками и ступнёй с семью пальцами.

Команда проекта уточняет, что они не удаляют изображения только из-за того, что они созданы ИИ. В некоторых случаях такие изображения уместны, особенно если статья посвящена самому изображению или явлению. Например, статья о Willy’s Chocolate Experience, которая рекламировалась с помощью ИИ-изображения, включает такую картинку. Также в статье о заявлениях Дональда Трампа о том, что гаитянские иммигранты ели домашних животных в Спрингфилде, присутствует сгенерированное изображение, на котором Трамп держит гуся и котёнка.

В некотором смысле, Википедия сейчас лучше, чем другие крупные интернет-сервисы, справляется с обнаружением и фильтрацией вводящего в заблуждение контента, созданного с помощью ИИ. Это связано с тем, что сайт всегда полагался на волонтёров для проверки новых статей и подтверждения их достоверности надёжными источниками. В отличие от этого, такие платформы, как соцсеть Цукерберга, Google и Amazon, несмотря на наличие модераторов, часто не успевают вовремя выявлять такой контент.

«Статьи в Википедии имеют более специфический формат (не только с точки зрения представления, но и содержания), чем результаты [поиска в] Google...», – говорит Леблеу. «Такие вещи, как проверка ссылок, также помогают: поскольку Википедия стремится быть третичным источником, теоретически должно быть возможно проверить, соответствует ли написанное содержание исходным текстам».

Леблю отметил, что редакторы сами обсуждали возможность использования ИИ для обнаружения сгенерированных текстов с помощью инструментов вроде GPTZero, но пока это даёт «разные результаты».

Инициатива WikiProject AI Cleanup подчёркивает важность человеческого участия в поддержании качества и достоверности информации в эпоху стремительного развития технологий искусственного интеллекта. Благодаря усилиям волонтёров, Википедия продолжает оставаться достаточно надёжным источником знаний, пытающимся противостоять распространению дезинформации и некачественного контента.

Ещё по теме: