Microsoft-topman wil noodrem op krachtige AI-modellen

In een opvallend en gedetailleerd essay op X luidt Microsoft-CEO Satya Nadella de noodklok over de huidige ontwikkeling van kunstmatige intelligentie. Volgens de topman moeten bedrijven frontier-AI-modellen niet meer zien als een handige assistent die blind vertrouwd kan worden, maar als een ‘insider risk’ — een interne actor die, net als een menselijke werknemer, fouten kan maken, gecompromitteerd kan worden of onvoorspelbaar gedrag kan vertonen.

Terwijl de techindustrie in een hoog tempo krachtige AI-modellen en zogenaamde agentic systems (autonoom handelende AI) uitrolt, groeit bij experts de zorg over het gebrek aan controle. Waar traditionele software via logische code stapsgewijs te herleiden is, is het gedrag van geavanceerde AI-modellen een zwarte doos. We kunnen uitkomsten vaak niet direct koppelen aan specifieke trainingsdata of gewichten in het netwerk.

Dat brengt grote risico's met zich mee, stelt Nadella. Zeker nu deze modellen toegang krijgen tot de meest gevoelige bedrijfsdata en de bevoegdheid hebben om kritieke acties uit te voeren. "Het is tijd om een stap terug te doen en de vertrouwensarchitectuur voor dit nieuwe tijdperk te beoordelen", schrijft de topman. "We kunnen de verantwoordelijkheid voor wat intelligentie namens ons doet simpelweg niet uitbesteden. Toezeggingen van een modelleverancier ontslaan ons niet van die plicht."

Oude cybersecurity-principes voor nieuwe technologie

Het probleem van de 'zwarte doos' kan volgens Nadella niet worden opgelost door alleen te vertrouwen op AI die zichzelf controleert. "Je eindigt anders met een ondoorzichtig model binnen een ondoorzichtige besturingslaag, dat in de gaten wordt gehouden door wéér een ondoorzichtig model. Dat zijn in feite opstapelingen van 'black boxes'."

De oplossing ligt volgens Nadella in een klassieke benadering uit de informatiebeveiliging die teruggaat tot de jaren 70: scheid de macht over de intelligentie van de intelligentie zelf. De regels, grenzen en toegangsrechten moeten strikt buiten het AI-model om worden geregeld. Het model mag nooit in staat zijn om de mechanismen die zijn permissies handhaven te omzeilen of aan te passen.

Nadella vergelijkt de situatie met hoe organisaties omgaan met menselijk personeel binnen het bedrijf. Een werknemer krijgt niet onbeperkt toegang tot alle systemen en wordt gecontroleerd via strikte protocollen. Dezelfde principes moeten nu op AI worden toegepast: identiteit vaststellen, privileges beperken, alle acties vastleggen en duidelijke grenzen stellen.

Zeven pijlers voor veilige AI

Om een containment- en governance-systeem te bouwen rondom niet-deterministische AI-modellen, formuleert Nadella zeven kernprincipes waar de industrie aan moet voldoen:

• Diversiteit van modellen: Geen enkel AI-model mag de enige afhankelijkheid worden voor een kritiek proces of verantwoordelijk zijn voor het verifiëren van zijn eigen werk.
• Volledige observeerbaarheid: Elke betekenisvolle actie van een model moet een onveranderlijk en door mensen leesbaar spoor achterlaten. "Als het niet geobserveerd kan worden, kan het niet worden vertrouwd."
• Verifieerbaarheid: Systemen moeten continu worden getest op fouten, aanvallen en randgevallen, niet alleen op scenario's waarin alles goed gaat.
• Onafhankelijke controle: Bedrijven moeten zelfstandig kunnen bepalen wat een model kan openen en welke acties het mag uitvoeren.
• Onafhankelijke auditability: De controle op het gedrag van een model moet volledig losstaan van het model zelf.
• Insluiting (Containment): Er moet altijd vanuit worden gegaan dat een model gecompromitteerd kan raken. Er is een 'noodrem' nodig waarmee een gemachtigd persoon een model midden in een taak direct kan onderbreken of uitschakelen.
• Transparantie bij incidenten: Wanneer systemen falen, moeten organisaties incidenten snel melden en geleerde lessen delen met de rest van de sector om herhaling te voorkomen.

Noodzaak tot actie

De boodschap van de Microsoft-topman is helder: het tijdperk van naïef vertrouwen in AI-modellen is voorbij. Niet omdat de modellen kwaadwillend zijn, maar omdat complexe systemen per definitie kwetsbaar zijn voor fouten en manipulatie.

Nadella sluit zijn betoog af met een treffende stelregel voor de toekomst van de techsector: "Het meest betrouwbare AI-systeem zal niet het systeem zijn met het model dat we het meest vertrouwen. Het zal het systeem zijn dat ons in staat stelt het model het minste te hoeven vertrouwen."