Cloudflare od září zpřísní přístup AI agentů k části webu
Cloudflare od 15. září ve výchozím nastavení zablokuje AI agenty a trénovací crawlery na reklamních stránkách u vybraných zákazníků. Pro provozovatele agentů to znamená nutnost vyjednat přístup, zatímco vydavatelé budou řešit také dopad na návštěvnost z vyhledávačů.
Tři druhy crawlerů
Cloudflare 1. července nahradil původní jednotné nastavení pro blokování AI botů třemi kategoriemi. Search označuje crawlery, které stránky indexují a odpovědi z nich vytvářejí až později. Agent se týká automatizovaných systémů pracujících v reálném čase pro konkrétního uživatele, například nástroje ChatGPT pro načítání stránek nebo agentů ovládajících webový prohlížeč. Třetí kategorií je Training, tedy crawlery shromažďující obsah pro začlenění do trénovacích dat modelů.
Nová nastavení jsou od 1. července dostupná všem zákazníkům Cloudflare včetně bezplatného tarifu. Od 15. září se však změní výchozí pravidla: kategorie Training a Agent budou na stránkách s reklamou zablokované, zatímco Search zůstane povolená. Změna se týká nově připojených domén, nových webů stávajících zákazníků a všech současných zákazníků bezplatné verze. Kdo ji nechce, musí se před tímto datem odhlásit v bezpečnostním nastavení.
Proč je změna důležitá
Cloudflare své rozhodnutí vysvětluje rozdílem mezi vyhledáváním a přímým využitím obsahu agentem. Reklama podle něj naznačuje, že stránka byla vytvořena pro člověka, který na ni přijde. Vyhledávací crawler návštěvníka na web vrací, kdežto agent může informace načíst, sestavit z nich odpověď a uživatele na původní stránku neposlat.
Agenti dosud počítali s tím, že otevřený web mohou procházet bez zvláštní licence. Mohli například načíst ceník konkurence, sledovat oznámení dodavatele nebo získat technické údaje výrobce. Protože Cloudflare obsluhuje významnou část webového provozu a jeho pravidla fungují na síťové úrovni, nejde jen o doporučení typu robots.txt, které lze ignorovat. Při zablokování může agent místo jasné chyby získat neúplná data a vytvořit odpověď z omezeného souboru dostupných zdrojů.
Riziko pro Googlebot
Komplikací je způsob, jakým Googlebot kombinuje více účelů. Jeden bot Googlu prochází web kvůli vyhledávání i trénování. Pokud proto vydavatel zvolí nejpřísnější pravidlo a zablokuje kategorii Training, může současně zablokovat také Googlebot a oslabit svou viditelnost ve vyhledávání.
Generální ředitel Cloudflare Matthew Prince uvedl, že firma doufá, že změny „encourage mixed-use crawlers to separate search from agent use and training“. Jinými slovy chce přimět provozovatele crawlerů, aby jednotlivé účely oddělili. Samotná klasifikace je ale založená na deklarovaném chování botu a oznámení nevysvětluje, co zabrání firmě označit trénovací provoz jinak.
Přístup může mít cenu
Provozovatelé agentů by měli nejdříve zjistit, které jejich systémy Cloudflare zařadí do kategorie Agent. Přepsání identifikace uživatelského agenta nemusí pomoci; podklad jako cestu vpřed popisuje spíše vyjednaný přístup. Blokování se navíc dotkne hlavně reklamních stránek, takže výsledkem může být postupně horší pokrytí webu, nikoli úplné selhání.
Cloudflare současně posouvá model Pay Per Crawl k modelu Pay Per Use. Ceramic.ai podle článku platí vydavatelům, když se jejich obsah objeví ve výsledcích AI vyhledávání, a You.com platí při přístupu agenta k prémiovému obsahu. Cloudflare tvrdí, že více než polovina provozu AI crawlerů připadá na opakované načítání nezměněných stránek. Přístup k webu tak může místo prostého blokování stále častěji řešit cena za skutečné použití obsahu.