Nieuw platform Red Hat AI 3 vereenvoudigt inferentie

De introductie van Red Hat AI 3 speelt in op een kritieke fase: na initiële pilots ervaren veel bedrijven problemen met dataprivacy, kostenbeheersing en het beheer van diverse AI-modellen. Onderzoek van het MIT NANDA-project toont aan dat 95% van de organisaties geen meetbaar financieel rendement ziet op hun AI-investeringen.

Focus op inferentie

Red Hat AI 3 pakt deze uitdagingen aan door een consistent en eenduidig platform te bieden dat CIO’s en IT-leiders in staat stelt het maximale uit hun kostbare versnelde computertoepassingen te halen. De focus verschuift van het trainen van modellen naar kostenefficiënte en schaalbare inferentie.

Het platform is opgebouwd uit de nieuwste innovaties van Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI) en Red Hat OpenShift AI. Het is gebouwd op open standaarden en ondersteunt elke stap in het AI-traject van een organisatie, ongeacht de gebruikte hardware of het model, van datacenters tot de edge.

Om de schaalbare inferentie te realiseren, introduceert Red Hat OpenShift AI 3.0 de algemene beschikbaarheid van llm-d. Dit project, dat voortbouwt op de succesvolle open source-projecten vLLM en llm-d, herdefinieert hoe Large Language Models (LLM’s) native draaien op Kubernetes.

llm-d maakt intelligente, gedistribueerde inferentie mogelijk door Kubernetes-orkestratie te combineren met vLLM-prestaties en geavanceerde technologieën zoals:

• Intelligente modelscheduling om kosten te verlagen en responstijden te verbeteren.
• Ondersteuning voor verschillende hardwareversnellers (waaronder NVIDIA en AMD).
• Integratie met technologieën zoals de NVIDIA Dynamo-bibliotheek voor snelle datatransfers.

Hierdoor kunnen organisaties voorspelbare prestaties, meetbare ROI en efficiënt infrastructuurbeheer realiseren, met name bij wisselende LLM-workloads en het serveren van gigantische modellen zoals Mixture-of-Experts (MoE).

Een verenigd platform voor samenwerkende AI

Red Hat AI 3 creëert een geïntegreerde, flexibele omgeving om de samenwerking tussen AI-engineers en platform-engineers te stroomlijnen. Nieuwe functionaliteiten maken de stap van proof-of-concept naar productie efficiënter:

• Model-as-a-Service (MaaS)-mogelijkheden: Hiermee kunnen IT-teams zelf als MaaS-provider fungeren. Ze bieden centrale modellen aan met on-demand toegang voor zowel ontwikkelaars als applicaties. Dit vereenvoudigt kostenbeheer en biedt een oplossing voor privacygevoelige use cases die niet via publieke AI-diensten kunnen draaien.
• AI Hub: Een gecureerde catalogus van gevalideerde en geoptimaliseerde generatieve AI-modellen en een centraal register voor het beheren en monitoren van alle AI-assets.
• Gen AI Studio: Een interactieve werkruimte waar AI-engineers snel kunnen prototypen, prompts verfijnen en modellen testen voor toepassingen zoals chat en Retrieval-Augmented Generation (RAG).

Bovendien vormt Red Hat AI 3 de basis voor de volgende generatie AI-agents. Dit gebeurt met een Unified API-laag (gebaseerd op Llama Stack) en ondersteuning voor het Model Context Protocol (MCP), een nieuwe open standaard voor de communicatie tussen AI-modellen en externe tools. De toevoeging van een modulaire toolkit voor modelaanpassing, gebaseerd op InstructLab, geeft ontwikkelaars meer controle en flexibiliteit bij het finetunen van LLM’s.