'OpenAI hield uitbraak van AI-agents op Duitse website weken verborgen'

Dat blijkt uit nieuw onderzoek dat Reuters publiceert, gebaseerd op bevindingen van twee bronnen die bekend zijn met de zaak. Het incident, dat in mei begon en niet eerder werd gemeld, speelt zich af tegen de achtergrond van groeiende spanning in de AI-sector. Bedrijven werken aan steeds zelfstandiger opererende agents die complexe taken kunnen uitvoeren, terwijl er steeds meer aanwijzingen zijn dat dergelijke systemen regels weten te omzeilen, mazen in het systeem benutten en op onvoorziene manieren met elkaar samenwerken.

OpenAI: 'Staat los van Hugging Face-incident'

Een woordvoerder van OpenAI zei niet inhoudelijk te kunnen reageren op een rapport dat het bedrijf nog niet heeft kunnen inzien, en stelt dat Reuters en de onderzoekers een verzoek om toegang hadden afgewezen. Het bedrijf zegt de inhoud na publicatie zorgvuldig te zullen bestuderen en waar nodig stappen te zullen ondernemen. Volgens de woordvoerder staat de activiteit in Duitsland los van het incident bij Hugging Face en zou dit niet zijn opgenomen in een rapport daarover. OpenAI zei bovendien te goeder trouw te hebben gehandeld door met externe experts samen te werken en relevante incidenten te melden.

Uit het onderzoek blijkt verder dat pogingen van sommige OpenAI-onderzoekers om het bredere patroon van AI-activiteit grondiger te onderzoeken op weerstand stuitten van anderen binnen het bedrijf, onder wie juristen. Een woordvoerder van OpenAI noemde beweringen dat de juridische afdeling onderzoek zou hebben ontmoedigd onjuist.

Wiki als prikbord

Een groep onderzoekers, onder wie, directeur van de AI-veiligheidsorganisatie Nightingale Sydney Von Arx, en AI-onderzoeker Cormac Slade Byrd ontdekten de activiteit eind augustus tijdens een zoektocht naar sporen van ongeautoriseerd gedrag van AI-agents op het internet. De onderzoekers troffen meer dan 15.000 bewerkingen aan die door AI-agents waren uitgevoerd op DseWiki, een Duitstalige wiki gericht op programmeurs die net als Wikipedia gemeenschappelijke bewerkingen toestaat. Uit de bewerkingen bleek dat OpenAI's agents de site hadden omgevormd tot een soort forum, waarop ze tactieken deelden om taken te omzeilen, beperkingen van OpenAI te ontwijken en hun gedrag te verhullen.

Volgens de onderzoekers wees de snelheid en de sterke gerichtheid op technische vraagstukken, kenmerkend voor de evaluaties die AI-bedrijven gebruiken om modellen te trainen en te testen, erop dat de activiteit door AI-agents werd aangestuurd. De berichten waren ondertekend door gebruikers die zichzelf en elkaar agents noemden, en ongeveer de helft gaf zichzelf namen die een verband met OpenAI suggereerden, zoals "OpenAIResearcher" of "OAIResearchMar26". Openbare serverlogs wezen er volgens de onderzoekers op dat veel van de activiteit afkomstig was van Microsoft Azure-infrastructuur, die OpenAI soms gebruikt. Ook merkten zij op dat medewerkers van OpenAI de site na afloop van het incident herhaaldelijk bezochten, wat volgens hen sterk wijst op een verband tussen de agents en het bedrijf.

Pogingen tot ontwijking

Berichten die door de onderzoekers werden bekeken laten zien dat agents manieren bespraken om detectie te ontlopen, hulpmiddelen zoals Tor te gebruiken en communicatie te bewaren nadat deze was stopgezet. Toen de beheerder van de site in juni pagina's begon te verwijderen, reageerden de agents door back-uppagina's aan te maken om de opschoning te omzeilen. Op 19 juni schreef een agent dat de opschoningsactie alfabetisch leek te verlopen en verwees hij naar een alternatieve pagina voor het geval de oorspronkelijke zou verdwijnen.