NVIDIA versnelt maatwerk-AI-chips

De ontwikkeling speelt in op de sterk stijgende vraag naar infrastructuur voor AI-agents en modellen met duizenden miljarden parameters. Bij dergelijke zware workloads bepalen niet langer alleen de grafische chips de snelheid, maar het samenspel tussen rekenkracht, geheugen, opslag, netwerkinfrastructuur en software binnen een geïntegreerd systeem.

Verhuizing van de geheugencontroller levert 25% meer chipruimte op

Bij traditionele HBM-architecturen bevindt de geheugencontroller zich op de die van de XPU zelf. Dit neemt kostbare ruimte op het silicium in beslag die anders gebruikt had kunnen worden voor rekenkracht. NVHBM gebruikt dezelfde technologie die NVIDIA gaat inzetten voor toekomstige generaties GPU's en integreert de aangepaste geheugencontroller rechtstreeks in de HBM-basis-die (de 3D HBM-stack).

Door de geheugencontroller uit de XPU-chip te halen, levert NVHBM concrete prestatiewinsten op ten opzichte van de standaard HBM4E-norm:

Hogere bandbreedte: Tot 30 procent meer geheugenbandbreedte.

Minder energieverbruik: Een 15 procent lagere HBM-stroomconsumptie.

Meer rekenruimte: Tot 25 procent meer ruimte op de XPU-reken-die voor aanvullende verwerkingscapaciteit.

NVIDIA stelt een gestandaardiseerde NVHBM-implementatie beschikbaar die door meerdere geheugenleveranciers kan worden geproduceerd. Dit verlaagt de technische complexiteit voor ontwikkelaars om geheugen van verschillende leveranciers te integreren en te valideren, wat de marktintroductie van maatwerk-AI-chips versnelt.

Annapurna Labs koppelt Trainium4 via NVLink Fusion

Annapurna Labs gaat de NVHBM-technologie en de NVLink-architectuur inzetten om de efficiëntie van toekomstige AWS-infrastructuur te verhogen. Dit bouwt voort op de eerdere ondersteuning van AWS voor NVLink Fusion. Annapurna Labs is van plan om NVLink Fusion te ondersteunen vanaf de volgende generatie Trainium-chips (Trainium4). Hierdoor kunnen custom chips van Amazon en GPU's van NVIDIA naadloos samenwerken binnen dezelfde rack-architectuur op schaal.

"NVHBM vertegenwoordigt een nieuwe architectonische benadering om de prestaties en efficiëntie van High-Bandwidth Memory te verbeteren," verklaart Nafea Bshara, vicepresident van Annapurna Labs bij Amazon. "We kijken uit naar deze technologische samenwerking waar toekomstige AWS-infrastructuurontwerpen van profiteren."

Verticaal geïntegreerd en horizontaal open

NVLink Fusion stelt hyperscalers en AI-bedrijven in staat om eigen XPUs en CPUs rechtstreeks te koppelen aan het rack-scale platform van NVIDIA. Partners krijgen toegang tot NVLink-chiplets, NVLink-C2C, NVLink Switches en NVIDIA MGX-systemen. Hierdoor kunnen ontwikkelaars zich richten op hun eigen specifieke XPU-innovaties, terwijl ze vertrouwen op het beproefde netwerk- en softwaresysteem van NVIDIA voor het op- en opschalen van hun infrastructuur.