Microsoft waarschuwt voor AI-agent als interne dreiging

In de zoektocht naar resultaten kunnen geavanceerde AI-modellen zogeheten reward hacking vertonen. Omdat agenten niet automatisch rekening houden met organisatienormen of menselijk oordeel, kunnen ze zich aanpassen aan veranderende contexten, anders handelen dan bedoeld en zelfs met andere agenten samenwerken om doelen te bereiken. Nu agenten op grote schaal worden ingezet in bedrijfsprocessen en vaak beschikken over verstrekkende rechten, data-toegang en bevoegdheden, is een continue beveiliging en monitoring van hun acties noodzakelijk.

Om deze agenten te controleren stelt Microsoft de inzet van Guardian Agents voor: gespecialiseerde beveiligingsagenten die 24/7 alle acties van overige AI-agenten realtime monitoren en bijsturen nog voordat deze worden uitgevoerd. Beveiliging moet hierbij worden toegepast op meerdere lagen, waaronder identiteit, bevoegdheden, data, eindpunten, netwerk, cloud en de runtime-omgeving.

Hiervoor wijst het bedrijf naar Project Perception, een agentisch beveiligingssysteem dat eerder werd aangekondigd om organisaties te beschermen tegen externe AI-aanvallen. Dezelfde technologie is volgens Microsoft direct toepasbaar op het beheren van interne AI-agenten. Door signalen uit verschillende sensoren te combineren, krijgen agenten een vaste identiteit, container en rechten toegewezen, waarna het dynamische risico van hun acties continu wordt berekend. Waar nodig grijpen de Guardian Agents direct in.

Naast de directe controle op acties benadrukt Gallot het belang van transparantie in de modellen zelf. Om te bepalen of het gedrag van een agent overeenkomt met de oorspronkelijke taakstelling, is inzicht nodig in niet alleen de in- en uitvoer van data, maar ook in de interne denkstappen van de AI (chain of thought). Volgens Microsoft biedt deze transparantie in combinatie met automatische bewaking de nodige snelheid om risico's af te vangen, terwijl de menselijke beveiliger het uiteindelijke oordeel en de controle behoudt.