Qualcomm AI200 en AI250 bieden standaard voor AI-Inference in datacenter
Qualcomm Technologies heeft de lancering aangekondigd van zijn nieuwste generatie versnelleroplossingen voor datacenters: de Qualcomm AI200 en AI250 op chips gebaseerde kaarten en racks. Deze oplossingen zijn specifiek geoptimaliseerd voor AI-inferentie en bouwen voort op de leidende positie van het bedrijf op het gebied van NPU-technologie (Neural Processing Unit). Ze beloven een nieuwe definitie te geven aan rack-schaalprestaties en superieure geheugencapaciteit voor Generatieve AI-inferentie tegen de laagste totale eigendomskosten (TCO) in de sector.
De aankondiging markeert een belangrijke sprong voorwaarts in het mogelijk maken van schaalbare, efficiënte en flexibele Generatieve AI (GenAI) in diverse industrieën zo meldt de leverancier.
AI200: hoge capaciteit, lage TCO
De Qualcomm AI200 introduceert een doelgerichte rack-oplossing die ontworpen is voor een lage TCO en geoptimaliseerde prestaties voor Large Language Models (LLM) en Multimodale Modellen (LMM). Deze oplossing ondersteunt maar liefst 768 GB LPDDR per kaart, wat zorgt voor een hogere geheugencapaciteit tegen lagere kosten. Dit is essentieel voor de enorme schaalbaarheid en flexibiliteit die moderne AI-inferentie vereist.
AI250: generatiesprong in geheugenefficiëntie
De Qualcomm AI250 gaat nog een stap verder en debuteert met een innovatieve geheugenarchitectuur op basis van near-memory computing. Dit resulteert in een generatiesprong in efficiëntie en prestaties voor AI-inferentie-workloads. Het belooft een effectieve geheugenbandbreedte die meer dan 10 keer hoger is, in combinatie met een aanzienlijk lager stroomverbruik. Deze technologie maakt gedisaggregeerde AI-inferentie mogelijk, waardoor hardware efficiënter wordt benut en tegelijkertijd aan de prestatie- en kosteneisen van klanten wordt voldaan.
Beide rack-oplossingen zijn uitgerust met directe vloeistofkoeling voor thermische efficiëntie, PCIe voor scale-up en Ethernet voor scale-out, evenals confidential computing om veilige AI-workloads te garanderen. Het totale stroomverbruik op rack-niveau bedraagt 160 kW.
Adoptie via Open Software
Volgens Durga Malladi, SVP & GM, Technology Planning, Edge Solutions & Data Center bij Qualcomm Technologies, ligt de kracht van de nieuwe oplossingen in de combinatie van hardware en software. "Met Qualcomm AI200 en AI250 herdefiniëren we wat mogelijk is voor rack-schaal AI-inferentie," aldus Malladi.
Cruciaal voor het succes is de rijke softwarestack van Qualcomm, die is geoptimaliseerd voor AI-inferentie en compatibel is met toonaangevende AI-frameworks, inference-engines en LLM/LMM-optimalisatietechnieken. Ontwikkelaars kunnen modellen naadloos aan boord brengen en met één klik modellen van Hugging Face implementeren via de Efficient Transformers Library en de Qualcomm AI Inference Suite. Dit zorgt voor een wrijvingsloze adoptie en snelle innovatie.
De Qualcomm AI200 wordt naar verwachting commercieel beschikbaar in 2026, gevolgd door de AI250 in 2027. Qualcomm heeft zich gecommitteerd aan een jaarlijkse update van de datacenter roadmap, met de focus op toonaangevende AI-inferentieprestaties, energie-efficiëntie en lage TCO.
Meer over ai
Over Witold Kepinski
