Компании, работающие в сфере искусственного интеллекта, активно скупают и уничтожают миллионы печатных книг для обучения своих моделей. Этот процесс, ранее скрытый от широкой публики, теперь становится предметом обсуждения, и вызывает вопросы о будущем книжного наследия и этичности таких действий.
Рынок, традиционно обслуживающий библиотеки и книготорговцев, теперь стал источником данных для ИИ-компаний. Они ищут большие объёмы печатных изданий, выпущенных до начала саммового генеративного ИИ. Компания ISBNdb, заявляющая о наличии крупнейшей в мире базы данных книг, помогает ИИ-стартапам приобретать физические книги оптом. По её данным, объёмы закупок варьируются от тысячи до миллиона экземпляров, которые поступают со вторичных рынков, где библиотеки, розничные продавцы и частные лица реализуют бывшие в употреблении печатные издания.
Основная идея ISBNdb проста: старые книги просто содержат более «чистые» данные.
«Лучшие в мире данные для обучения ИИ лежат на полке», – говорится на сайте компании. «Книги представляют собой курируемые, рецензируемые, предметно-ориентированные человеческие знания, структурированные так, как не может воспроизвести ни один поисковый робот. Плотные, отредактированные, авторитетные».
Особое внимание уделяется книгам, изданным до 2022 года, то есть до того, как синтетический текст получил широкое распространение в интернете. Это важно, поскольку ИИ-модели, обученные на контенте, созданном самим искусственным интеллектом, со временем могут деградировать. ISBNdb позиционирует печатные издания как способ обойти эти риски.
«Печатные книги до эпохи больших языковых моделей (LLM) структурно гарантированно свободны от этого загрязнения», – утверждает компания. «Физические книги, опубликованные до этой даты [до 2022 года], структурно чисты от современных инструментов "отравления"».
Для масштабирования этого процесса ISBNdb сочетает свой каталог с услугами по поиску, которые помогают покупателям избегать дубликатов и собирать большие, разнообразные наборы данных. Компания также подчёркивает важность конфиденциальности: каждое соглашение покрывается строгим соглашением о неразглашении, а личность покупателя, его стратегия и цели приобретения остаются непубличными.
Отсутствие прозрачности распространяется и на торговые площадки, поставляющие книги. Продавцы отмечают резкий рост оптовых заказов в последние месяцы, при этом покупатели остаются анонимными. Один продавец книг, специализирующийся на иностранной литературе, рассказал, что продажи резко подскочили с апреля этого года.
«У меня лично смешанные чувства по этому поводу», — рассказал он. «Это выгодно мне финансово, а также позволяет распродать старые запасы, которые иначе вряд ли были бы проданы. Я хорошо подхожу для этих продаж благодаря запасам из-за рубежа и иностранным книгам. С другой стороны, мне не нравится конечное использование, и мне не нравится, что редкие книги становятся макулатурой».
Сами заказы тоже выделяются: вместо того чтобы фокусироваться на определённой тематике, они кажутся разрозненными по темам и форматам. Продавец отметил, что заказы необычны не только своим размером, но и кажутся случайными, игнорируя обычные ценовые модели. Он также предположил, что такой характер закупок указывает на связь с ИИ из-за масштабных расходов на покупки.
Хотя прямых подтверждений связи этих закупок с конкретными ИИ-компаниями нет, недавние судебные разбирательства показывают, как используются печатные издания. В иске, касающемся компании Anthropic, внутренние документы описывали план по покупке и сканированию миллионов книг. Во многих случаях они уничтожались в процессе.
Такой подход основан на высокоскоростном деструктивном сканировании, при котором корешок книги отрезается, а страницы скопом подаются в машины. Это быстрее и дешевле, чем сканирование целых книг «по старинке». Один из поставщиков, упомянутых в деле, Datamation Information Services, предлагает как деструктивные, так и классические варианты.
Ранее едеральный суд постановил, что процесс работы Anthropic квалифицируется как добросовестное использование.
«Здесь каждая купленная печатная копия была скопирована для экономии места хранения и обеспечения возможности поиска в виде цифровой копии», – отметил судья Уильям Олсап. «Печатный оригинал был уничтожен. Одно заменило другое. И нет никаких доказательств того, что новая цифровая копия была показана, передана или продана за пределами компании».
ISBNdb ссылается на эту аргументацию в своих материалах. Компания утверждает, что оптовая покупка бумажных книг на вторичном рынке не лишает авторов дохода, поскольку книги уже были проданы один раз.
Для самих продавцов всплеск спроса позволяет реализовать товар, который в противном случае мог бы лежать годами. Но что остаётся неясным, так это сколько редких или малотиражных книг может быть потеряно в результате такого деструктивного сканирования.
