Gartner: 'Leemtes in governance verhoogt risico op mislukte Agentic AI-projecten'

Gartner voorspelt dat tegen 2027 veertig procent van de bedrijven autonome AI-agents zal degraderen of buiten gebruik zal stellen als gevolg van governanceleemtes die pas na productie-incidenten aan het licht komen.

“Organisaties behandelen de governance van AI-agents als een binaire keuze: of volledig afgeschermd of volledig vertrouwd, en dat is de hoofdoorzaak van falen,” aldus Shiva Varma, Senior Director Analyst bij Gartner. “Agents opereren op verschillende autonomieniveaus en binnen verschillende vertrouwensgrenzen. Wanneer dezelfde controles onverschillig worden toegepast, stuiten organisaties op twee veelvoorkomende faalmodi: overmatige beperking van eenvoudige agents, wat de levering vertraagt en schaduwontwikkeling stimuleert, of onvoldoende beperking van autonoomere agents, wat operationele, beveiligings- en compliance-risico’s vergroot.”

Om deze risico’s te beperken, adviseert Gartner een evenredige governancebenadering toe te passen. Hierbij worden AI-agents geclassificeerd op basis van verschillende autonomieniveaus, waarbij elk niveau een andere vertrouwensgrens en bijbehorende governance-eisen vertegenwoordigt.

Vier autonomieniveaus

Gartner onderscheidt vier autonomieniveaus voor AI-agents:

Niveau 1: Observeren

Agents op niveau 1 hebben alleen leestoegang tot gedefinieerde databronnen, waarbij de uitvoeren alleen zichtbaar zijn voor de vraagende gebruiker. Veelvoorkomende toepassingen zijn het samenvatten van documenten, het opvragen van data of kennis, en het uitleggen van code.

Volgens Varma moet de governance op dit niveau gericht zijn op basiscontroles zoals gescopeerde data-toegang, gebruikersauthenticatie, gebruikerslogboeken en basisfunctionele en beveiligingstests. “Omdat het risico voornamelijk beperkt blijft tot data-blootstelling en de nauwkeurigheid van de uitvoer, moeten de controles licht en gericht blijven.”

Niveau 2: Adviseren

Agents op niveau 2 genereren aanbevelingen, concepten of voorgestelde acties, terwijl mensen alle uitvoeren controleren en acties handmatig uitvoeren. Deze agents behouden alleen leestoegang en hebben geen schrijftoegang tot enige systeem. Ze worden vaak gebruikt voor het opstellen van e-mails, het genereren van rapporten of code, en beslissingsondersteuning.

Hoewel mensen de beslissingen uitvoeren, kunnen adviesagents de oordelen beïnvloeden, wat downstream risico’s met zich meebrengt wanneer onnauwkeurige uitvoeren vertrouwd worden als gevolg van automatiseringsbias.
Varma benadrukt: “De governance voor adviesagents moet alle controles van niveau 1 omvatten en zich uitstrekken tot het aanpakken van de kwaliteit van de uitvoer en de invloed op beslissingen. Dit omvat nauwkeurigheidstests, hallucinatiecontroles, domeinspecifieke kwaliteitsevaluaties en gebruikersopleiding over passende afhankelijkheidsniveaus.”

Niveau 3: Handelen met goedkeuring

Op niveau 3 kunnen agents acties uitvoeren, zoals het schrijven van data, het verzenden van communicatie of het wijzigen van configuraties, maar alleen na uitdrukkelijke goedkeuring van een mens voor elke actie.

“Op dit niveau is menselijke controle alleen effectief als deze een betekenisvolle controle blijft,” aldus Varma. “Zonder sterke beveiligingstests, duidelijke goedkeuringsworkflows met audit trails en agent-specifieke incidentresponseprocedures, kan de goedkeuring onder tijdsdruk of goedkeuringsmoeheid achteruitgaan. Dit creëert een vals gevoel van veiligheid terwijl de aanvalsoppervlakte toeneemt.”

Niveau 4: Autonoom handelen

Op het hoogste autonomieniveau voeren agents acties zelfstandig uit binnen gedefinieerde kaders, waarbij mensen uitzonderingen, audittrails en geaggregeerde resultaten controleren in plaats van individuele beslissingen.

“Wanneer agents autonoom opereren, worden acties uitgevoerd op een schaal en snelheid die menselijk toezicht kunnen overstijgen,” aldus Varma. “Omdat de verantwoordelijkheid voor de resultaten bij de organisatie blijft liggen, vereist dit niveau de meest strenge governance. Dit omvat continue monitoring, afgedwongen kaders, snelle terugrolmechanismen, circuit breakers die de werking van de agent stoppen bij schendingen van drempelwaarden, en duidelijke eigenaarschap voor het gedrag van de agent.”

Meer informatie is beschikbaar voor klanten van Gartner in het rapport 'Avoid Governance Mismatch: Classify AI Agents by Autonomy Level'.