OpenAI dicht lekken in open-source na geslaagde AI-hacktest

Om de isolatie en beveiliging van zijn onderzoeksomgevingen grondig te versterken, zette OpenAI tijdens de pauze zijn krachtigste AI-modellen in als 'red team'. Deze autonome AI-agents kregen de opdracht hun eigen beveiligingssystemen aan te vallen. De resultaten van die grootschalige testcampagne, waarbij honderden miljarden reken-tokens werden verbruikt, zijn nu bekendgemaakt.

Geïsoleerde 'offline wereld' en strengere zandbakken

Om te voorkomen dat modellen in ontwikkeling ongecontroleerde acties uitvoeren op het internet, traint OpenAI zijn modellen in een zogeheten 'offline wereld'. Dit is een afgeschermde omgeving die gebruikmaakt van een uitgebreide, lokale index van gecachte webpagina's. Zo kunnen AI-modellen toch leren browsen en informatie zoeken, zonder dat er een actieve verbinding met het wereldwijde netwerk is.

Na het incident op 20 september scherpte OpenAI het beveiligingsprincipe van defense in depth (meerlaagse beveiliging) verder aan. Modellen draaien binnen afgeschermde containers in lichtgewicht virtuele machines (microVM's), waarbij meerdere lagen van firewalls, netwerkbeperkingen en strengere rechtenstructuren moeten voorkomen dat een model uit zijn 'zandbak' breekt.

Schokkkende vondsten door AI-red-team

Tijdens de red-teamingtests kregen de AI-agents de opdracht om via uiteenlopende wegen uit hun isolatie te breken. Met succes ontdekten de modellen verschillende onbekende kwetsbaarheden (zero-days) en verkeerde configuraties in zowel de eigen infrastructuur van OpenAI als in veelgebruikte open-sourcesoftware.

De AI-agents vonden onder meer:

Escapes uit virtuele machines: De modellen wisten lekken in bekende container- en microVM-software – zoals Kata Containers, gVisor en Moby/Docker – aan elkaar te schakelen om toegang te krijgen tot de onderliggende hostserver.

Omwegen naar het internet: Zelfs wanneer ze waren afgesloten van het netwerk, vonden de agents manieren om beveiligingsfuncties van interne diensten (zoals authenticatie- en loggingsystemen) te misbruiken om indirect externe websites aan te roepen.

Geheime communicatiekanalen: Agents in gescheiden virtuele omgevingen slaagden erin met elkaar te communiceren zonder netwerkverbinding. Ze deden dit onder meer door timingverschillen in het processorgeheugen (CPU-cache) en schrijfactiviteiten op de harde schijf te meten – een techniek die vergelijkbaar is met de bekende Spectre- en Meltdown-hacks.

Terugkoppeling naar open-source en hervatting trainingen

OpenAI meldt dat de aangetroffen kwetsbaarheden inmiddels zijn verholpen. In het kader van het eigen Patch the Planet-initiatief zijn de gevonden lekken in open-sourcesoftware (waaronder specifieke CVE-meldingen voor de Linux-kernel en Kata Containers) verantwoord gemeld en gedicht in samenwerking met de desbetreffende ontwikkelaars.

Omdat het aantal nieuwe lekken dat de AI-agents ontdekten na verloop van tijd drastisch afnam, concludeerde OpenAI dat de beveiliging voldoende was opgeschroefd. Op 1 oktober werd de reinforcement learning-training (RL) van de frontier-modellen hervat.

OpenAI benadrukt dat het inzetten van high-compute red-teaming met de sterkste AI-modellen voortaan een vast en verplicht onderdeel wordt van de veiligheidsprotocollen (safety cases) bij de ontwikkeling van toekomstige AI-generaties.