Gartner: Focus op uitlegbare AI leidt tot investeringen in inzicht in LLM's

XAI omvat een reeks mogelijkheden die een model beschrijven, de sterke en zwakke punten benadrukken, het waarschijnlijke gedrag voorspellen en mogelijke vooroordelen identificeren. Het kan de werking van een model verduidelijken voor een specifiek publiek, waardoor nauwkeurigheid, eerlijkheid, verantwoordelijkheid, stabiliteit en transparantie in algoritmische besluitvorming worden bevorderd.

Observatietools voor taalmodellen monitoren, analyseren en bieden inzichten in het gedrag en de prestaties van deze modellen. Ze gaan verder dan standaard IT-metingen, zoals responstijden, en richten zich op specifieke LLM-metrics zoals hallucinaties, vooroordelen en tokengebruik. Deze tools worden gebruikt door teams die AI-systemen ontwikkelen en operationeel maken, maar ook door IT-operations en site reliability engineers die verantwoordelijk zijn voor de prestaties en veerkracht van deze systemen in productie.

'Behoefte aan vertrouwen groeit sneller dan technologie zelf'

“Naarmate organisaties generatieve AI opschalen, groeit de behoefte aan vertrouwen sneller dan de technologie zelf,” aldus Pankaj Prasad, Sr Principal Analyst bij Gartner. “XAI biedt inzicht in waarom een model op een bepaalde manier reageert, terwijl LLM-observatie valideert hoe die reactie tot stand is gekomen en of deze betrouwbaar is.”

Prasad: "Zonder solide XAI- en observatiegrondslagen zullen generatieve AI-initiatieven beperkt blijven tot laagrisico, interne of niet-kritieke taken waar de outputverificatie eenvoudig te beheren of onbelangrijk is. Dit beperkt de potentiële return on investment aanzienlijk."

XAI en LLM-observatie als verplichte vertrouwensmechanismen

Gartner voorspelt dat de wereldwijde markt voor generatieve AI-modellen in 2026 meer dan 25 miljard dollar zal bedragen en tegen 2029 zal groeien naar 75 miljard dollar, gedreven door snelle adoptie in verschillende sectoren. Naarmate het gebruik toeneemt, groeit ook de behoefte aan mechanismen die AI-gegenereerde content verifiëren en beschermen tegen hallucinaties, feitelijke onnauwkeurigheden en vooringenomen redeneringen.

"Traditionele observatie richt zich op snelheid en kosten, maar de prioriteit verschuift nu naar diepere kwaliteitsmetingen zoals feitelijke nauwkeurigheid, logische correctheid en vleierij. Deze verschuiving vereist nieuwe governance-gerichte metrics en evaluatiemethoden, zoals menselijke validatie van de verhaallijn en citatie-nauwkeurigheid van de gegenereerde content", aldus Prasad.

“Uitlegbaarheid zet een generatieve AI-output om in een verdedigbaar, controleerbaar inzicht. LLM-observatie zorgt ervoor dat het model zich gedraagt zoals verwacht in de loop der tijd. Zonder beide kan generatieve AI niet verder komen dan gecontroleerde laboratoriumomgevingen.”

Betrouwbaarheid, transparantie en zakelijke waard verbeteren

Om de betrouwbaarheid, transparantie en zakelijke waarde van generatieve AI-toepassingen te verbeteren, adviseert Gartner organisaties om de volgende stappen te prioriteren:

• XAI-tracing voor hoogimpacttoepassingen: Verplicht verifieerbare XAI-tracing voor alle impactvolle generatieve AI-toepassingen om de redeneringsstappen van het model en de brondata achter elke output te documenteren.
• Multidimensionale LLM-observatie: Geef voorrang aan observatieplatforms die latentie, drift, tokengebruik en kosten, foutpercentages en outputkwaliteitsmetrieken monitoren om betrouwbare prestaties van generatieve AI te waarborgen.
• Doorlopende LLM-evaluatie in CI/CD-pijplijnen: Integreer LLM-evaluatiemetrics waaronder feitelijke nauwkeurigheidsbenchmarks en veiligheidscontroles in continuous integration/continuous delivery (CI/CD)-pijplijnen voor continue validatie voorafgaand aan implementatie.
• Informeren van stakeholders over uitlegbaarheidseisen: Licht juridische, compliance- en andere sleutelstakeholders voor over de eisen voor uitlegbaarheid om afstemming te bereiken over risico’s, governance-verwachtingen en implementatie-uitdagingen.

Gartner-cliënten kunnen meer lezen in het rapport 'Predicts: AI will unlock Observability at Scale'. Daarnaast biedt Gartner een gratis roadmap aan voor het versnellen van digitale transformatie door integratie van AI, optimalisatie van cloudkosten en het opbouwen van een veerkrachtige infrastructuur: 'Boost Your I&O Leadership: Proven Tactics to Align CIO Priorities'.

Gartner IT Infrastructure, Operations & Cloud Strategies Conference

Tijdens de Gartner IT Infrastructure, Operations & Cloud Strategies Conferences delen Gartner-analisten aanvullende inzichten over cloudstrategieën en trends op het gebied van infrastructuur en operaties. Deze conferenties vinden plaats op 11 en 12 mei in Sydney, 1 en 2 juni in Mumbai, 16 en 17 november in Londen, 1 tot 3 december in Tokio en 8 tot 10 december in Las Vegas.