Akamai Cloud krijgt beheerde AI-modellen en een sandbox voor code van AI-agents

Akamai Inference geeft toegang tot open-weightmodellen en eigen, aangepaste modellen via API’s die compatibel zijn met die van OpenAI. Bestaande applicaties kunnen daardoor zonder herschrijven worden aangesloten. Klanten kiezen tussen serverloze inferentie met betaling naar gebruik en dedicated deployments. De bètaversie bevat voorlopig de serverloze opties. De catalogus telt bij de start twaalf modellen met 8 miljard tot 2,8 biljoen parameters, waaronder Nemotron 3 Ultra van Nvidia, gpt-oss-120b van OpenAI en Gemma 4 van Google. Daarnaast zijn er embeddingmodellen voor retrieval-augmented generation, waarbij een model antwoorden baseert op bedrijfsgegevens.

Code van agents in een eigen omgeving

Voor die gegevens kunnen klanten gebruikmaken van de beheerde databases en objectopslag van Akamai Cloud, of van private en publieke cloudplatforms waarmee de dienst verbinding maakt. Akamai Inference verzorgt de orkestratie, het uitvoeren van de modellen en de authenticatie. Verzoeken lopen via het wereldwijde netwerk van Akamai, wat volgens het bedrijf de latentie beperkt en zorgt voor stabiele prestaties.

Akamai Agent Sandbox is bedoeld voor agents die zelf code schrijven en uitvoeren. De agents draaien op Akamai Functions, terwijl de code die ze genereren in een aparte, geïsoleerde omgeving wordt uitgevoerd. De sandbox is een opensourcecomponent van het Spin-framework en gebruikt WebAssembly-isolatie om grenzen te stellen aan rekenkracht, geheugen, uitgaande verbindingen en systeemfuncties.

Meer gpu’s voor het trainen en afstemmen van modellen

Voor agentisolatie bestaan meerdere technieken, van microVM’s met snapshot- en forkfunctionaliteit tot containers met afgedwongen beleid en WebAssembly-functies. Akamai zegt ontwikkelaars de keuze te laten, met Nvidia-versnelde en dedicated cpu-infrastructuur, beheerd Kubernetes en Akamai Functions voor serverloze uitvoering op de rand van het netwerk en in kernregio’s. Het bedrijf is van plan functies toe te voegen waarmee kan worden bepaald waar agents toegang toe hebben en wie of wat bij de agents kan komen.

Akamai breidt daarnaast zijn dedicated gpu-vloot uit met clusters van Nvidia Blackwell Ultra. De bestaande RTX PRO 6000 Blackwell Server Edition-gpu’s blijven bedoeld voor inferentie met lage latentie, terwijl de Blackwell Ultra-clusters zijn gericht op bedrijven die modellen willen bouwen, afstemmen en zelf hosten. In 2027 wil Akamai zijn datacenters geschikt maken voor het Nvidia Vera Rubin-platform.

Elk Blackwell Ultra-node bevat acht gpu’s met elk 288 GB HBM3e-geheugen, samen 2,3 TB. Dat volstaat volgens Akamai voor de grootste huidige modellen. De clusters kennen geen limieten op het aantal verzoeken en geen wachtrijen door gedeeld gebruik. Klanten houden zelf de controle over modelversies en over wanneer oudere versies worden uitgefaseerd.

Beschikbaarheid

Akamai Agent Sandbox is beschikbaar via de Spin SDK. Voor de beschikbaarheid van de Nvidia B300-gpu-clusters moeten klanten contact opnemen met de verkoopafdeling van Akamai. Het bedrijf zegt dat de infrastructuur van Akamai Cloud al meerjarige contracten heeft opgeleverd met een gezamenlijke waarde van meer dan 14 miljard dollar. De rekenkracht is verdeeld over grote gpu- en cpu-clusters in kernregio’s en meer dan 4.350 edge-locaties.