Red Hat optimaliseert AI-inferencing op AWS met speciale chips

Deze strategische stap beantwoordt aan de groeiende vraag naar schaalbare inferencing. IDC voorspelt dat 40% van de organisaties tegen 2027 maatwerkchips zullen inzetten om de prestaties te optimaliseren en de kosten te verlagen, wat de noodzaak van geoptimaliseerde oplossingen onderstreept.

Prijs-prestatieverhouding

De samenwerking combineert de platformcapaciteiten van Red Hat met de gespecialiseerde AI-chipsets van AWS om een complete generatieve AI-stack te bieden.

De belangrijkste aspecten van de samenwerking zijn:

Red Hat AI Inference Server op AWS AI-chips: De Red Hat AI Inference Server, gebaseerd op het vLLM-framework, wordt compatibel gemaakt met AWS Inferentia2 en AWS Trainium3. Dit creëert een gemeenschappelijke inferentielaag die elk generatief AI-model kan ondersteunen. Het resultaat is een prijs-prestatieverhouding die tot 30–40% beter is dan huidige, vergelijkbare GPU-gebaseerde Amazon EC2-instances.

AI op Red Hat OpenShift: Red Hat heeft, in samenwerking met AWS, een AWS Neuron-operator ontwikkeld voor Red Hat OpenShift, Red Hat OpenShift AI en Red Hat OpenShift Service on AWS. Dit biedt klanten een ondersteunde methode om hun AI-workloads met AWS-accelerators te draaien.

Toegankelijkheid en automatisering: De samenwerking maakt krachtige accelerators eenvoudiger toegankelijk. Daarnaast vereenvoudigt de onlangs gelanceerde amazon.ai Ansible Certified Collection voor Red Hat Ansible Automation Platform de orkestratie van AI-diensten op AWS.

Open Source

Red Hat en AWS dragen gezamenlijk bij aan de upstream community door een AWS AI-chip plugin voor vLLM te optimaliseren. Dit vergroot de mogelijkheden voor AI-inferencing en training voor gebruikers.

Joe Fernandes, Vice President en General Manager, AI Business Unit bij Red Hat, benadrukt: "Door onze enterprise-grade Red Hat AI Inference Server – gebouwd op het innovatieve vLLM-framework – te ondersteunen met AWS AI-chips, stellen we organisaties in staat AI-workloads met meer efficiëntie en flexibiliteit uit te rollen."

Colin Brace, Vice President, Annapurna Labs bij AWS, vult aan: "Onze samenwerking met Red Hat biedt klanten een ondersteunende manier om generatieve AI op schaal in te zetten. We combineren de flexibiliteit van open source met de infrastructuur van AWS en speciaal ontworpen AI-accelerators om de ontwikkeltijd van pilot tot productie te versnellen."

De AWS Neuron community-operator is nu beschikbaar in de Red Hat OpenShift OperatorHub. Ondersteuning voor AWS AI-chips in Red Hat AI Inference Server wordt verwacht in januari 2026 in developer preview.