AI News

Гіганти ШІ підтримують новий спосіб відмови від скрейпінгу

Редакція AI NewsДжерело: The Verge AIОпубліковано Оновлено
The Verge AI•20 днів тому•5 переглядів•

OpenAI, Google, Microsoft і Anthropic підтримують новий стандарт відмови від скрейпінгу через спільний токен у robots.txt. Це дасть видавцям можливість одночасно встановити свої уподобання щодо навчання ШІ для кількох компаній.

ВердиктНейтральнаImpact 5/10

⚖️ Стандарт у стадії пропозиції. Для компаній на 10-50 людей це сигнал про майбутні зміни у правилах використання контенту, а не інструмент для дії сьогодні.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

• OpenAI, Google, Microsoft і Anthropic підтримуватимуть новий стандарт відмови від скрейпінгу.

• Стандарт використовує спільний токен політики у файлі robots.txt.

• Пропозицію висунув Кевін Келлі з Anthropic в рамках IETF.

• Видавці зможуть встановити уподобання навчання ШІ для кількох компаній одночасно.

• Дата запуску та обов'язковість стандарту не оголошені.


Як це змінить ваш ринок?

Видавці та компанії з великою кількістю контенту зменшать ризик неконтрольованого навчання моделей на своїх даних. Це знімає потребу налаштовувати скрейпінг окремо для кожного гіганта ШІ.


Визначення: robots.txt — текстовий файл на веб-сайті, який вказує пошуковим роботам і скрейперам, які сторінки можна індексувати, а які ні.


Для кого це і за яких умов

Ця новина стосується компаній, які публікують велику кількість контенту і хотіли б контролювати його використання для навчання ШІ. Для бізнесу на 10-50 людей без власного відділу контенту це нічого не змінює.


Альтернативи

Поточний підхідНовий стандарт
Цінабезкоштовнодані не розкриті
Де працюєокремо для кожного скрейпераспільно для учасників угоди
Мін. вимогиручне налаштування robots.txtпідтримка стандарту скрейперами
Ключова різницяфрагментований контрольєдиний сигнал для всіх

💬 Часті запитання

Чи працює це зараз?

Ні, це лише пропозиція стандарту, яка ще не реалізована в масштабі.

Чи заборонять це всім скрейперам?

Ні, лише тим, хто підтримуватиме стандарт. Інші можуть ігнорувати токен.

Чи потрібно щось робити власнику малого бізнесу?

Ні, дій не вимагається, оскільки стандарт ще не введено.

Підтекст

Гіганти ШІ зобов'язуються до спільного стандарту, щоб уникнути жорсткого регулювання та суди з видавцями. Це спроба саморегулювання, яка зручна для великих гравців, але не дає малій компанії жодного нового інструменту.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
AIscrapingrobots.txtOpenAIGoogleMicrosoftAnthropicIETF

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me