Amazon знищує паперові книги, щоб навчати ШІ

TL;DR

• •Amazon купив тисячі старих і рідкісних книг для створення власного датасету навчання ШІ
• •Книги розбирають, знімають палітурки та сканюють промисловими сканери у спеціальних об’єктах
• •У одну з партій заховали AirTag, який показав точне місце сканування у складі Amazon
• •Отримані тексти планують використовувати для тренування великих мовних моделей, таких як власні LLM компанії
• •Практика викликає дискусії про авторські права, культурну спадщину та етичне використання даних

Як це змінить ваш ринок?

Для видавництв та медіакомпаній це сигнал, що власні архіви можуть стати цінним ресурсом для тренування AI, а не лише товаром для продажу. Компанії, які мають доступ до великих колекцій книг, можуть монетизувати їх через надання даних для AI‑проектів. Це також змушує розглядати нові моделі ліцензування, де доступ до контенту оплачується за об’єм токенів.

Крім того, зростає попит на послуги сканування та оцифровки архівних матеріалів. Фирми, що спеціалізуються на обробці паперу, можуть отримати нові контракти від технологічних гігантів. Однак це підвищує тиск на збереження культурної спаддині, оскільки масове розбору книг може призвести до втрати рідкісних екземплярів.

Визначення: ШІ‑навчання — це процес використання великих обсягів тексту, зображень або інших даних для створення та покращення штучного інтелекту, особливо великих мовних моделей. Набір даних визначає якість, стиль та впередзастарілість моделі, тому вибір джерел має стратегічне значення.

Для кого це і за яких умов

• •Кому потрібно: компанії, які хочуть розробляти власні LLM або адаптувати існуючі моделі під специфічні домени (юридичне, медичне, фінансове тощо).
• •Мінімальне обладнання: доступ до сховища даних (терабайти), обчислювальна потужність GPU або доступ до хмарних сервісів типу AWS SageMaker, Google Vertex AI або Azure Machine Learning.
• •Бюджет: від кількох тисяч доларів за придбання та сканування книг до десятків тисяч за обчислювальні ресурси, залежить від об’єму датасету та тривалості тренування.
• •Команда: потрібні інженери даних, фахівці з машинного навчання, дані інженери та юристи для роботи з авторськими правами та ліцензуванням.
• •Час на впровадження: від 1 до 3 місяців для підготовки даних (сканування, очищення, токенізації), плюс тижні‑місяці на тренування моделі залежно від розміру та архітектури.

Альтернативи