AI-bots belasten onbeschermde webinfrastructuur met pieken tot 39.000 verzoeken per minuut

Het rapport, gebaseerd op de analyse van triljoenen verzoeken, richt zich specifiek op het gedrag van AI-bots. Deze bots zijn geclassificeerd in twee hoofdcategorieën: crawlers, die content verzamelen om modellen te trainen, en fetchers, die in realtime content ophalen als reactie op een gebruikersvraag.

Verhouding tussen crawlers en fetchers

Hoewel AI-crawlers  80% van het totale verkeer van AI-bots uitmaken, vormen fetchers een grotere bedreiging voor de webprestaties. Deze fetchers kunnen, ondanks hun kleinere aandeel in het totale verkeer, veel grotere pieken in activiteit veroorzaken.

Een voorbeeld van de impact is een fetcher-bot die  39.000 verzoeken per minuut naar één website verstuurde. Dit soort verkeersvolumes kan servers overweldigen en zelfs leiden tot DDoS-achtige effecten, zelfs als er geen kwaadaardige intentie is.

OpenAI is verantwoordelijk voor het leeuwendeel van de fetcher-activiteit. De bots van het bedrijf zijn goed voor bijna  98% van alle fetcher-verzoeken, voornamelijk via hun product ChatGPT.

Regionale en sectorale verschillen

De verhouding tussen crawlers en fetchers varieert sterk per regio en per sector. In

Noord-Amerika bestaat bijna 90% van het AI-botverkeer uit crawlers. Daarentegen hebben sectoren zoals de onderwijs- en media-industrie juist een groter aandeel aan fetcher-verkeer; respectievelijk 68% en 54%. De toenemende vraag naar actuele informatie, zoals nieuws en academische antwoorden, drijft deze trend.

Fastly beveelt website-eigenaren aan om een gelaagde strategie te hanteren. Dit omvat het gebruik van webstandaarden zoals robots.txt en meta-tags om te bepalen welke delen van een website toegankelijk zijn voor bots. Daarnaast zijn technische controles, zoals IP-blokkering en rate-limiting, van belang om overbelasting te voorkomen.

Oproep aan bot-ontwikkelaars

Het rapport roept ook AI-bot-ontwikkelaars op tot meer verantwoordelijkheid. Het is essentieel dat bots zich transparant identificeren, zich houden aan de robots.txt-protocollen en hun verkeer reguleren om overbelasting te voorkomen. Een voorbeeld van een goede praktijk is het publiceren van IP-bereiken, zoals OpenAI doet, waardoor het voor website-eigenaren gemakkelijker wordt om de bots te verifiëren.\

Uiteindelijk benadrukt het rapport dat een precieze aanpak van AI-verkeer cruciaal is om digitale activa te beschermen en tegelijkertijd nieuwe zakelijke kansen te benutten.