AMD Instinct MI350P: Krachtige AI zonder verbouwing

De adoptie van kunstmatige intelligentie stuit in de praktijk vaak op fysieke muren. Cloud-oplossingen zijn duur en brengen privacyrisico's met zich mee, terwijl dedicated AI-platformen vaak zulke hoge eisen stellen aan stroom en koeling dat een complete herinrichting van het datacenter noodzakelijk is. Met de MI350P kiest AMD voor een derde weg: krachtige AI-prestaties in een standaard PCIe-vormfactor.

Krachtpatser in een standaard jasje

De AMD Instinct MI350P is een 'dual-slot' kaart die eenvoudig kan worden ingebouwd in de racks die organisaties al bezitten. Desondanks zijn de prestaties allesbehalve standaard. AMD mikt hiermee op de opkomende "agentic AI"-era, waarin AI-agenten autonoom taken uitvoeren.

De kaart is met name geoptimaliseerd voor inference (het uitvoeren van getrainde modellen) en RAG-pipelines (Retrieval-Augmented Generation). Met een geschatte rekenkracht van 2.299 teraflops (TFLOPS) en een piek van maar liefst 4.600 TFLOPS bij gebruik van MXFP4-precisie, claimt AMD de krachtigste enterprise PCIe-kaart op de markt te hebben.

Focus op ROI: Meer doen met minder energie

Om AI rendabel te maken voor ondernemingen, heeft AMD de MI350P uitgerust met technologieën die de efficiëntie maximaliseren:

• Geavanceerd geheugen: De kaart beschikt over 144GB HBM3e-geheugen met een bandbreedte tot 4TB/s, essentieel voor het razendsnel verwerken van grote taalmodellen.
• Native support voor lage precisie: Door ondersteuning van formaten als MXFP6 en MXFP4 kan de kaart enorme hoeveelheden data verwerken met een fractie van het energieverbruik van traditionele precisieniveaus.
• Sparsity support: Deze techniek versnelt berekeningen in gangbare 8- en 16-bit formaten, waardoor de doorvoer wordt verhoogd zonder dat de nauwkeurigheid in gevaar komt.

Open ecosysteem: Geen 'Vendor Lock-in'

Een cruciaal onderdeel van AMD's strategie is de open software-stack. Waar concurrenten vaak werken met gesloten systemen, biedt AMD een open-source referentiestack aan zonder licentiekosten. Dit stelt IT-teams in staat om AI-workloads te migreren met minimale codewijzigingen.

De stack integreert naadloos met populaire tools zoals Kubernetes en frameworks als PyTorch. Hierdoor kunnen organisaties hun AI-omgeving op locatie opbouwen zonder geconfronteerd te worden met de "per-token" kosten die gebruikelijk zijn bij cloud-aanbieders.

Conclusie: AI waar u vandaag al bent

Met de MI350P PCIe-kaarten geeft AMD een duidelijk signaal af: de implementatie van AI hoeft niet te betekenen dat de infrastructuur vanaf de grond toe opnieuw moet worden opgebouwd. Door meer modellen te kunnen draaien en meer gebruikers te bedienen binnen de bestaande stroom- en koelingslimieten van een datacenter, kunnen bedrijven sneller de stap zetten van experiment naar echte resultaten.

Technische specificaties in vogelvlucht: