Commvault: 'Incidenten rondom Claude en OpenAI illustreren het belang van Europese AI Act'

De AI Act is de eerste brede Europese wetgeving op dit gebied. De uitgebreide verplichtingen voor AI-systemen met een hoog risico gaan pas in december 2027 gelden, maar vanaf 2 augustus moeten organisaties gebruikers al informeren wanneer zij met een AI-agent of chatbot communiceren. Ook moet duidelijk worden gemaakt wanneer emotieherkenning of biometrische classificatie wordt toegepast, en gelden specifieke transparantie-eisen voor AI-gegenereerde of gemanipuleerde content zoals deepfakes.

Welke verplichtingen zijn op mij van toepassingen?

Commvault adviseert organisaties om nu te beoordelen welke verplichtingen uit de AI Act op hen van toepassing zijn en of hun governance daarop is ingericht. Het bedrijf noemt daarbij enkele uitgangspunten die volgens hen voor vrijwel iedere organisatie relevant zijn. Zo zou effectieve AI-governance moeten beginnen bij betrouwbare data en een infrastructuur die snel te herstellen is, zodat de integriteit van data en processen gewaarborgd blijft. Ook zouden organisaties AI-agents moeten behandelen als digitale identiteiten met eigen bevoegdheden, waarbij alleen strikt noodzakelijke toegangsrechten worden verleend en het gedrag continu wordt gemonitord.

Daarnaast wijst Commvault erop dat organisaties niet zonder meer moeten uitgaan van aannames over de toegangsrechten van AI-systemen, maar regelmatig moeten controleren welke systemen daadwerkelijk toegankelijk zijn. Het verschil tussen beoogde en feitelijke toegangsrechten zou een belangrijke bron van beveiligingsrisico's zijn. Verder adviseert het bedrijf organisaties hun aandacht te verleggen van uitsluitend preventie naar operationele weerbaarheid, uitgaand van de gedachte dat een beveiligingsincident zich al heeft voorgedaan of nog zal voordoen. Volgens Commvault vervaagt AI de grenzen tussen cybersecurity, identity management en disaster recovery, disciplines die niet langer los van elkaar georganiseerd kunnen worden.

'Geen reden om AI niet te gebruiken'

Commvault benadrukt dat de incidenten van juli geen reden zijn om AI niet te gebruiken, maar wel duidelijk maken dat organisaties niet langer kunnen aannemen dat autonome AI-systemen altijd functioneren zoals bedoeld. Vertrouwen in AI moet volgens het bedrijf voortdurend getoetst worden, ook wanneer beveiligingsmaatregelen worden omzeild.

Mark Molyneux (foto), Field CTO EMEA bij Commvault: "Dat OpenAI inmiddels heeft aangegeven dat de recente AI-gedreven aanval niet alleen Hugging Face, maar ook andere externe diensten heeft geraakt, laat zien hoe AI nieuwe beveiligingsrisico's kan introduceren. Dit moet niet worden gezien als een kwaadaardige AI-aanval, maar als een vorm van reward hacking: de AI-agent week af van zijn beoogde werkgebied en bereikte zijn doel door externe systemen te compromitteren. Juist omdat dergelijk gedrag niet per se voortkomt uit kwaadwillendheid, moeten organisaties investeren in operationele weerbaarheid. De vraag is niet alleen hoe incidenten kunnen worden voorkomen, maar ook hoe systemen tijdens een crisis beschikbaar blijven of snel en gecontroleerd kunnen worden hersteld.”

"Het Claude-incident is een treffend voorbeeld van hoe AI-functionaliteit onbedoeld tot datalekken kan leiden. Honderden gebruikers maakten zonder het te beseffen gesprekken openbaar die onder meer juridische documenten, cv's, broncode, herstelzinnen voor cryptowallets en persoonsgegevens bevatten. Hoewel zij bewust gebruikmaakten van een deelfunctie, waren zij zich er niet van bewust dat deze gesprekken vervolgens door zoekmachines werden geïndexeerd en openbaar vindbaar werden. Het incident is een voorbeeld van hoe snel gegevens kunnen uitlekken", aldus Molyneux.