Cloudflare's nieuwe beleid dringt AI-bedrijven om te betalen voor content van uitgevers

Bron: TechCrunch AI

Cloudflare heeft de AI-industrie een nieuwe deadline opgelegd om de webcrawlers die voor traditionele zoekdoeleinden worden gebruikt, zoals Google Search, te scheiden van die welke voor AI-agents en training worden ingezet. Vanaf 15 september 2026 zullen de standaardinstellingen van Cloudflare ‘gemengde’ crawlers blokkeren van pagina's die advertenties hosten, zo maakte het bedrijf woensdag bekend.

Dit houdt in dat crawlers die zoekopdrachten, agentgebruik en training combineren, standaard worden geblokkeerd voor deze sites, tenzij de site-eigenaar de instellingen anders aanpast. Deze veranderingen in de standaardinstellingen gelden voor nieuwe Cloudflare-klanten, nieuwe sites die door bestaande klanten worden opgezet, en alle bestaande gratis klanten, aldus het bedrijf.

Deze stap kan invloed hebben op hoe aanbieders van AI-modellen toegang krijgen tot webinhoud voor trainingsdoeleinden en om hun agentdiensten aan te sturen. Cloudflare wijst erop dat de meeste website-eigenaren willen dat hun content vindbaar is via zoekmachines en vaak ook via AI-diensten, maar ze willen bescherming tegen het gratis weggeven van hun intellectuele eigendom.

De impact op AI-ontwikkelaars

Cloudflare verwijst specifiek naar de “grootste zoekmachine ter wereld” (een duidelijke verwijzing naar Google!) als een entiteit die toegang heeft tot ongeveer “twee keer zoveel informatie” als andere AI-bedrijven, omdat de zoekgigant het moeilijk maakt voor klanten om vindbaar te blijven zonder dat hun content voor AI wordt gebruikt.

In het verleden heeft Google deze generalisatie bestreden, waarbij het opmerkte dat het een bot biedt genaamd Google Extended, waarmee site-eigenaren zich kunnen afmelden voor het gebruik van hun content voor trainingen en AI-producten zoals Gemini Apps en Vertex API. Het gebruik van deze bot heeft geen invloed op de opname van een site in Google Search. De vlaggenschip Googlebot crawlt voor Search, inclusief AI-functies zoals AI Overviews en AI Mode.

Veranderingen in het digitale ecosysteem

“Nu het merendeel van het verkeer op het internet niet van mensen afkomstig is, moeten we verder gaan en sneller handelen, zodat er een duurzaam ecosysteem kan ontstaan,” aldus Cloudflare medeoprichter en CEO Matthew Prince in zijn aankondiging van het nieuws. Hij verwees naar de recente mijlpaal waarbij bots voor het eerst het menselijke verkeer online overtroffen.

“De nieuwe tools en samenwerkingen van Cloudflare bieden website-eigenaren meer zichtbaarheid en commerciële kansen en komen ten goede aan AI-bedrijven die bots met duidelijke en transparante intenties hebben. We hopen dat onze voorgestelde standaardwijzigingen gemengde crawlers aanmoedigen om zoekopdrachten te scheiden van agentgebruik en training,” voegde Prince toe.

Oplossingen voor uitgevers in het AI-tijdperk

Hoewel Cloudflare een aantal producten aanbiedt om gebruikers te helpen bij het lanceren van hun eigen AI-systemen, heeft het bedrijf ook een reeks tools vrijgegeven waarmee uitgevers meer controle over hun content in het AI-tijdperk kunnen uitoefenen. In de afgelopen jaren heeft Cloudflare verschillende tools gelanceerd om AI-bots tegen te gaan, waaronder een marktplaats waarmee websites AI-bots kunnen laten betalen voor het scrapen van content, genaamd Pay Per Crawl.

Deze laatste evolueert nu ook naar “Pay Per Use”, waarmee uitgevers AI-bedrijven kunnen laten betalen wanneer hun content waarde creëert, en niet alleen wanneer deze wordt opgehaald.

Efficiëntie en partnerschappen

Deze veranderingen kunnen ook helpen om de bandbreedte en rekenkracht van uitgevers te besparen, aangezien gegevens van Cloudflare suggereren dat meer dan 50% van het crawlverkeer van AI-crawlers wordt besteed aan het opnieuw ophalen van ongewijzigde pagina's. Om dit in de praktijk te brengen, werkt Cloudflare aanvankelijk samen met twee partners, Ceramic.ai en You.com. Wanneer een uitgever zich aanmeldt, ontvangt hij betaling wanneer zijn content verschijnt in de AI-zoekresultaten van Ceramic of wanneer You.com toegang krijgt tot een stuk van hun premium content.

Andere AI-bedrijven kunnen dit model aanpassen aan hun eigen werkwijzen, aldus Cloudflare.

Vertaald met ChatGPT gpt-4o-mini