Software van Clockwork maakt AI-infrastructuur sneller

De introductie van FleetIQ is een strategische zet die de cloudtechnologie van Clockwork uitbreidt naar de wereld van AI en GPU’s. Het platform biedt niet alleen inzicht in de prestaties van clusters, maar introduceert ook 'stateful' fouttolerantie, wat kostbare crashes en vertragingen van AI-taken moet voorkomen.

Het probleem van de AI-efficiëntiekloof

Naarmate AI-toepassingen volwassener worden, verschuift de grootste uitdaging van de pure rekenkracht naar de communicatie tussen GPU’s en clusters. Grote AI-trainingsmodellen, vaak met tienduizenden GPU’s, moeten perfect gesynchroniseerd blijven. Als één link faalt, kan de hele taak vastlopen. Dit leidt tot een "AI-efficiëntiekloof", waarbij GPU-clusters in de praktijk slechts 30-55% van hun theoretische prestaties behalen. Volgens Clockwork kan de verspilling bij een investering van 5 tot 7 miljard dollar in een 100.000 GPU-cluster oplopen tot meer dan 2,25 miljard dollar.

Hoe FleetIQ het verschil maakt

FleetIQ, gebaseerd op technologie die is ontwikkeld aan de Stanford-universiteit, pakt dit probleem direct aan met een zogeheten Software-Driven Fabric (SDF). Het platform biedt inzicht in de kleinste details van de netwerkomgeving, waardoor vertragingen en storingen snel kunnen worden opgespoord.

FleetIQ's belangrijkste functies zijn:

• Fouttolerantie: De software zorgt ervoor dat AI-taken blijven draaien, zelfs als er netwerkproblemen optreden, waardoor dure herstarts worden vermeden.
• Optimalisatie: Het platform verhoogt de doorvoer door real-time, slimme routering die congestie en wachttijden elimineert.
• Hardware-agnostisch: De software werkt met verschillende hardwareconfiguraties, waaronder GPU’s van NVIDIA en AMD en netwerken zoals InfiniBand en Ethernet/RoCE. Dit maakt het inzetbaar in zowel on-premise als cloudomgevingen.

Suresh Vasudevan, de nieuwe CEO van Clockwork, benadrukt het belang van deze ontwikkeling. "Communicatie is de nieuwe wet van Moore. FleetIQ is een intelligent abstractielag dat applicatievereisten afstemt op netwerkgedrag, waardoor organisaties meer kunnen bereiken met dezelfde infrastructuur," aldus Vasudevan. "Dit maakt AI op de lange termijn economisch haalbaarder."

Sterke steun en nieuwe leiders

Clockwork heeft een nieuwe investeringsronde afgesloten, geleid door bestaande investeerder NEA. De waardering van het bedrijf is hierdoor verviervoudigd ten opzichte van twee jaar geleden. Nieuwe investeerders zijn onder andere Intel-CEO Lip-Bu Tan en voormalig Cisco-CEO John Chambers.

Naast de lancering van FleetIQ heeft Clockwork zijn leidinggevende team versterkt met de aanstelling van Suresh Vasudevan als CEO en Joe Tarantino als Vice President van Worldwide Sales.

Verschillende bedrijven, waaronder Uber en het Deense DCAI, dat de Gefion-supercomputer beheert, hebben al positieve resultaten gemeld met de technologie van Clockwork. Volgens Albert Greenberg, Chief Architect Officer van Uber, kan Clockwork de detectie van netwerkproblemen versnellen van uren tot minuten, wat de prestaties en betrouwbaarheid van hun infrastructuur aanzienlijk verbetert.