Meta onthult Prometheus: AI-supercluster op gigawattschaal

Het supercluster bestaat uit honderden duizenden grafische processors verspreid over meerdere gebouwen, die via kilometers glasvezel met elkaar verbonden zijn en als één enkele computer functioneren. Om het enorme rekenvermogen betrouwbaar te laten werken, gebruikt Meta een combinatie van hardware-architecturen, geavanceerde netwerkstructuren en directe vloeistofkoeling op chipniveau, zo meldt Meta in een blog.

Van Blackwell tot Vera Rubin: Drie generaties hardware

In Prometheus zet Meta verschillende hardware-generaties in op basis van Nvidia-technologie. De eerste fase draait op het 'Catalina'-platform (NVIDIA GB200 NVL72), opgebouwd volgens de OCP Open Rack V3-standaard. In deze twee-rack configuratie werken 36 GPU's per rack samen via NVLink, wat resulteert in een unified domein van 72 GPU's. Meta koos bij Catalina voor een 1:1 GPU-tot-CPU-verhouding met dubbele netwerkkaarten (ConnectX-7 400G), om zo vroegtijdig 800G I/O-bandbreedte per GPU te realiseren en netwerkflessehalzen te voorkomen.

De tweede fase, genaamd 'Clemente', maakt gebruik van de NVIDIA GB300 NVL72. Dit platform verhoogt de HBM-geheugencapaciteit per GPU met 50 procent van 192 GB naar 288 GB (HBM3e) en levert een rekenkracht van meer dan 1 exaFLOP op FP4-precisie. Dankzij de integratie van ConnectX-8 SuperNICs en een 2:1 GPU-tot-CPU-ratio past het volledige 72-GPU-domein bij Clemente in één enkel rack, wat de fysieke bekabeling aanzienlijk vereenvoudigt.

In de nabije toekomst breidt Meta het cluster verder uit met het 'San Miguel'-platform, dat zal draaien op de aankomende NVIDIA Vera Rubin NVL72-architectuur. Met HBM4-geheugen, een bandbreedte van 3 TB/s per GPU en een stroomverbruik van meer dan 170 kW per rack, belooft dit platform een prestatiewinst per watt van 10 tot 20 procent ten opzichte van de GB300.

Netwerkarchitectuur en stroomopvang

Om de enorme datastromen tussen de GPU's in goede banen te leiden, gebruikt Meta naast het reguliere datacentrumnetwerk een toegewijd Ethernet-gebaseerd 'Back-End'-netwerk. Op gebouwniveau verbindt dit netwerk tot 20.736 GPU's met lage latentie via een Non-Scheduled Fabric (NSF) op basis van 51,2T switches. Een overkoepelend Backend Aggregation (BAG)-netwerk knoopt de verschillende gebouwen over afstanden van 2 tot meer dan 100 kilometer aan elkaar via glasvezelverbindingen en Arista-chassis met Broadcom Jericho3-silicon.

Een van de grootste operationele uitdagingen bij grootschalige AI-training zijn stroompieken. Wanneer tientallen duizenden GPU's gelijktijdig overschakelen van rekenen naar communicatie, ontstaan er piekbelastingen van 30 tot 40 procent, wat binnen enkele seconden kan leiden tot een vermogensverschuiving van tientallen megawatts. Meta vangt deze schommelingen op met het 'Dynamo Dimmer'-systeem, dat het stroomverbruik dynamisch afknipt wanneer de maximale capaciteit wordt genaderd, ondersteund door batterijmodules op rackniveau (BBU), condensatortrays (CBU) en accusystemen op locatie (BESS).

Storingsreductie van 99 procent

Bij clusters van deze omvang kan een enkel defect in een component een volledige trainingstaak stilleggen. Na de ingebruikname van Prometheus halverwege 2025 registreerde Meta aanvankelijk bijna 1.000 onderbrekingen per dag per 8.000 GPU's. Door intensieve samenwerking met Nvidia, het toepassen van continue signaaldiagnostiek op de meer dan 600.000 NVLink-verbindingen en geautomatiseerde firmware-updates, is het aantal storingen met 99 procent teruggebracht.

Om de impact van hardwarefouten verder te beperken, reserveert Meta binnen elk 72-GPU NVL72-rack acht reserve-GPU's. Bij een defect neemt een reserve-GPU de taak direct over, waardoor het rekenproces kan worden voortgezet zonder te hoeven wachten op fysieke reparatie. Daarnaast zet het bedrijf Parallelism-Aware Fault Tolerance (PAFT) en gedistribueerde checkpointing in om verloren werk bij uitval tot een minimum te beperken.

De ervaringen die Meta opdoet in New Albany dienen volgens de techgigant als blauwdruk voor toekomstige AI-faciliteiten, waaronder het geplande 'Hyperion'-supercluster in Louisiana.