Nieuwe knoppen bij Cloudflare scheiden AI-training van zoekresultaten
Cloudflare introduceert nieuwe beheersfuncties waarmee website-eigenaren de toegang tot hun content door zoekmachines en AI-crawlers nauwkeuriger kunnen regelen. Met het nieuwe 'Accountable'-label en een speciale optie om AI-training te weigeren, kunnen organisaties voorkomen dat hun gegevens worden gebruikt voor het trainen van kunstmatige intelligentie, zonder dat dit ten koste gaat van hun zichtbaarheid in traditionele zoekresultaten.
Volgens Cloudflare bestaat inmiddels ruim een derde van het geverifieerde crawlerverkeer uit gecombineerde crawlers die content verzamelen voor zowel zoekindices als AI-modellen.
Tot nu toe leidde het blokkeren van AI-training vaak tot het volledig verdwijnen uit zoekmachines. Bigtechbedrijven zoals Apple, Google en Microsoft voldoen inmiddels aan de strenge Cloudflare-criteria voor verantwoorde crawling. Zo bieden zij gescheiden besturingsopties aan en garanderen ze dat het afwijzen van AI-training geen negatieve invloed heeft op de positie in zoekresultaten.
Crawlers die niet aan deze eisen voldoen en geen onderscheid maken, worden voortaan automatisch geblokkeerd wanneer een site-eigenaar AI-training uitschakelt.
Daarnaast vervangt de netwerkdienst de algemene optie voor het blokkeren van AI-bots door drie specifieke knoppen voor zoeken, AI-training en AI-agenten. Ook introduceert het bedrijf geautomatiseerde instellingen en werkt het binnen de IETF mee aan open standaarden zoals 'ai-prefs', om crawlvoorkeuren op een gestandaardiseerde wijze via het internet te communiceren.
Meer over Internet
Over Witold Kepinski
