GPU-verspilling bereikt dieptepunt

Terwijl de vraag naar AI-capaciteit wereldwijd explodeert en cloudproviders zoals NVIDIA en AWS hun prijzen blijven verhogen, schetst het rapport een beeld van extreme verspilling. Voor elke dollar die een organisatie uitgeeft aan GPU-infrastructuur, wordt slechts vijf cent aan daadwerkelijke waarde gegenereerd.

Een ‘zakelijke noodtoestand’

De inefficiëntie beperkt zich niet alleen tot de nieuwe AI-chips. Cast AI analyseerde tienduizenden Kubernetes-clusters (de standaard voor moderne software-infrastructuur) en zag dat ook de traditionele rekenkracht ondermaat wordt gebruikt. De gemiddelde CPU-benutting bedraagt 8 procent, terwijl het geheugen (RAM) gemiddeld voor 20 procent wordt benut.

"Een CPU die stilstaat kost centen per uur, maar een GPU die niets doet kost dollars per uur," stelt Laurent Gil, medeoprichter en president van Cast AI. Volgens Gil is er sprake van een kritiek kantelpunt nu cloudproviders de prijzen van hun nieuwste chips (zoals de H200) met 15 procent hebben verhoogd. "Dit is niet langer alleen een configuratiefout; dit is een zakelijke noodtoestand."

De kloof tussen kosten en verbruik

De oorzaak van de verspilling ligt volgens het rapport bij een fundamentele misvatting: het idee dat het instellen van de juiste capaciteit een eenmalige taak is bij de lancering van software.

• Dynamische werkdruk: Verkeerspatronen en AI-berekeningen veranderen continu, maar de gereserveerde hardware blijft vaak statisch ingesteld op het 'worst-case scenario'.
• Schaalbaarheid: Naarmate organisaties groter worden, neemt de efficiëntie niet automatisch toe. Integendeel: de kloof tussen waarvoor betaald wordt en wat echt wordt gebruikt, wordt alleen maar groter.
• Handmatige processen: Menselijke technici kunnen het tempo van de veranderende cloud-omgevingen niet bijhouden, waardoor systemen vaak 'over-provisioned' (te ruim ingesteld) blijven.

AI als nieuwe bron van inefficiëntie

Juist nu Kubernetes het standaardplatform is geworden voor AI en Machine Learning (ML), wordt de verspilling pijnlijk zichtbaar in de portemonnee. Waar men vroeger dacht dat schaalvergroting de kosten per eenheid zou verlagen, zorgt de huidige complexiteit ervoor dat de kosten voor AI-infrastructuur een van de grootste posten op de IT-begroting worden.

Het rapport adviseert organisaties om over te stappen op autonome optimalisatie. Volgens Cast AI is het automatisch en in real-time aanpassen van hardware-resources de enige rationele reactie op een markt waarin de kosten van rekenkracht voor het eerst in twintig jaar weer stijgen.

Zonder ingrijpen dreigt de 'AI-revolutie' voor veel bedrijven te stranden op een onhoudbare energierekening en ongebruikte hardware.