Cloudflare geeft website-eigenaren meer controle over gebruik content door AI
Cloudflare kondigt nieuwe classificaties, analysetools en samenwerkingen aan om website-eigenaren meer controle te geven over hoe AI-systemen hun content gebruiken. Volgens het bedrijf genereren geautomatiseerde bots en AI-agents inmiddels meer dan de helft van het webverkeer. De nieuwe functies moeten transparantie vergroten en het voor website-eigenaren eenvoudiger maken om te bepalen of hun content beschikbaar is voor AI-zoektoepassingen, AI-agents of modeltraining.
Het bedrijf test nieuwe standaardinstellingen waarmee onderscheid wordt gemaakt tussen verschillende soorten AI-crawlers. Voor nieuwe websites wordt AI-zoekverkeer standaard toegestaan, terwijl AI-training en agentgebruik op pagina's met advertenties worden geblokkeerd. Ook crawlers die zoeken, agentgebruik en training combineren zonder onderscheid te maken, worden op dergelijke pagina's standaard geblokkeerd. Website-eigenaren kunnen deze instellingen zelf aanpassen. De nieuwe standaardinstellingen zijn per 15 september 2026 actief.
Attribution Business Insights-dashboard
Daarnaast introduceert Cloudflare het Attribution Business Insights-dashboard. Deze analysetool geeft inzicht in hoe AI-bots content gebruiken en hoeveel verkeer AI-platforms naar websites doorverwijzen. Ook werkt het bedrijf aan functies voor zogeheten Answer Engine Optimization (AEO), waarmee website-eigenaren beter kunnen volgen hoe hun content wordt gebruikt en aangehaald in door AI gegenereerde antwoorden.
Cloudflare ontwikkelt daarnaast technieken om AI-crawlers efficiënter te laten werken door onnodige herhaalde scans van ongewijzigde webpagina's te verminderen. Ook wordt het eerder aangekondigde pay-to-crawl-model uitgebreid naar een pay-per-use-model, waarbij uitgevers een vergoeding ontvangen wanneer hun content daadwerkelijk wordt gebruikt in AI-toepassingen. Hiervoor werkt Cloudflare samen met onder meer Ceramic.ai en You.com.
Meer over Artificial intelligence
Over Wouter Hoeffnagel
