Red Hat AI 3.5 focust op beveiliging, GPU-beheer en agents

Nu bedrijven de overstap maken van pilotprojecten naar grootschalige productie van AI-toepassingen, neemt de vraag naar controle, compliance en efficiëntie toe. Red Hat AI 3.5 wil hierop inspelen door IT-teams meer grip te geven op hoe AI-modellen en autonome agents presteren en welke bronnen zij verbruiken.

Modelverificatie en beveiliging van Agents

Een van de kernonderdelen van de update is EvalHub, een raamwerk waarmee organisaties AI-modellen, RAG-toepassingen (Retrieval-Augmented Generation) en agents kunnen testen en verifiëren voor uitrol. Modellen in de catalogus van Red Hat worden voorzien van Garak-benchmarkscores, die direct inzicht bieden in mogelijke beveiligings- en compliancerisico's.

Voor het gebruik van AI-agents introduceert de software agent-API’s (zoals de Responses API) en een beveiligde gateway. Geïntegreerde 'NeMo Guardrails' moeten voorkomen dat autonome agents ongewenste of onbevoegde acties uitvoeren tijdens meerstapsgesprekken. Daarnaast levert het platform kant-en-klare agent-templates voor toepassingen als codereviews, documentverwerking en onderzoek.

Efficiëntie van GPU’s en dynamisch redeneren

Om het schaarse en kostbare aanbod van GPU-capaciteit optimaal te benutten, bevat Red Hat AI 3.5 nieuwe functies voor GPU-scheduling. Hiermee wordt rekencapaciteit automatisch verdeeld over meerdere gebruikers en achtergrondtaken, waarbij realtime inferentie-opdrachten prioriteit krijgen boven minder urgente verzoeken.

Op het gebied van datagrounding en modelprestaties ondersteunt het platform AutoRAG met pgvector, native AutoML en Inference-Time Scaling (ITS). Met ITS kunnen modellen hun rekenkracht dynamisch opschalen op basis van de complexiteit van een specifieke vraag.

Transparantie en beschikbaarheid

Voor het operationele beheer bevat de versie ingebouwde monitoringtools. Beheerders krijgen via dashboards realtime inzicht in de status van inferenties, visuele agent-tracing via MLflow en het exacte GPU-verbruik. Ook is er de mogelijkheid tot tokenmeting per gebruiker (MaaS-showback), wat helpt bij het toerekenen van kosten binnen de organisatie.

Red Hat AI 3.5 is per direct algemeen beschikbaar. Het platform wordt tevens geleverd als onderdeel van de geïntegreerde 'Red Hat AI Factory with NVIDIA'-oplossing.