Пользователи Claude возмутились водяными знаками

Маркировка ИИ-текста вызвала споры о честности и контроле

2 мин.
Пользователи Claude возмутились водяными знаками

Компания Anthropic придумала способ маркировать тексты, созданные её чат-ботом Claude, с помощью скрытых водяных знаков. Решение вызвало резкую реакцию в сообществах пользователей ИИ: часть авторов опасается, что такая система позволит выявлять тех, кто выдаёт сгенерированный контент за собственную работу.

В Anthropic объяснили внедрение маркировки требованиями европейского «Закона об искусственном интеллекте» — AI Act, принятого в 2024 году. Документ предусматривает, что разработчики должны обозначать контент, созданный или отредактированный их системами.

Как это работает

Система должна вносить малозаметные изменения в выбор слов при генерации текста. Для человека эти особенности, как предполагается, останутся незаметными, однако в совокупности сформируют паттерн, который сможет распознать специальный инструмент.

У пользователей Reddit перспектива такой проверки вызвала недовольство. Один из комментаторов в сообществе r/ClaudeAI назвал нововведение крайне неудачной идеей и предположил, что в будущем для создания текста без маркировки может потребоваться подтверждение личности. Другой пользователь заявил, что наличие метки способно снизить коммерческую ценность материалов: по его мнению, покупатели не захотят платить за текст с подобным признаком.

Не обошлось и без шуток. Один из участников обсуждения предположил, что Claude якобы уже можно распознать по чрезмерному использованию длинного тире.

Опасения пользователей

На форуме r/artificial особенно эмоциональную реакцию вызвал пост пользователя visionode. Он сравнил маркировку с практиками, при которых ответственность несут не организаторы нарушений, а рядовые участники процесса. По мнению автора публикации, под подозрение могут попасть студенты, использовавшие Claude для перестановки фраз в абзаце, журналисты, просившие систему кратко изложить объёмную расшифровку, или писатели, использующие ИИ для подбора синонимов.

Пользователь назвал такую метку «цифровой татуировкой» и предупредил о риске появления стигмы в отношении людей, которые прибегают к ИИ-инструментам. Впрочем, его публикация получила много отрицательных оценок. Один из собеседников иронично поинтересовался, не был ли сам эмоциональный текст написан с помощью чат-бота.

Можно ли обойти водяной знак

Технология не гарантирует абсолютной защиты. Как отмечает Anthropic, водяные знаки смогут сохраняться после некоторых правок, однако он может исчезнуть, если текст скопировать и переработать с помощью другого чат-бота. Кроме того, выбор слов ради формирования скрытого паттерна потенциально способен повлиять на качество и естественность текста.

Издание Ars Technica также обратило внимание на ещё одну проблему: после публикации принципов работы детектора злоумышленники могут попытаться создать сервисы для удаления водяных знаков. Подобные попытки уже фиксируются в отношении SynthID — системы Google DeepMind для скрытой маркировки изображений, созданных ИИ. При этом полностью удалить её метки, по имеющимся данным, пока никому не удалось.

Мнение редакции

Скрытая маркировка способна стать полезным инструментом там, где читателю важно понимать происхождение материала: в образовании, журналистике, рекламе и работе с документами. Однако сама по себе метка не отвечает на главный вопрос — был ли ИИ лишь помощником автора или заменил его.

Эффективность таких систем будет зависеть не только от технической реализации, но и от понятных правил проверки, которые не превратят любой контакт с нейросетью в повод для недоверия.