Gemini van Google brak in bij bedrijven tijdens test

Dit is door Google bevestigd na onderzoek van de Wall Street Journal (WSJ). De incidenten deed zich in mei voor tijdens een test die werd uitgevoerd door het bedrijf Irregular, dat eerder ook betrokken was bij soortgelijke incidenten bij OpenAI, Anthropic en Meta. In één geval wist het model door het raden van wachtwoorden toegang te krijgen tot een beveiligd systeem. In twee andere gevallen vond het model inloggegevens in een openbare online opslagplaats, waarmee het vervolgens toegang kreeg tot beveiligde systemen. In alle drie de gevallen beëindigde het model de inbraak zodra het vaststelde dat het bij een echt bedrijf was binnengedrongen in plaats van in een gesimuleerde omgeving, stelt Google.

Melding kwam pas na vragen van media

Irregular meldde de incidenten eind juli aan Google, nadat bekend was geworden dat AI-agents van OpenAI het bedrijf Hugging Face hadden gehackt. Google maakte de incidenten echter pas openbaar nadat The Wall Street Journal vragen had gesteld.

Google zegt de hackpogingen niet als meldingswaardig te beschouwen, omdat het model geen schade heeft toegebracht en de inbraak direct stopte zodra duidelijk werd dat het om een echt bedrijf ging. Het bedrijf vergelijkt het incident met een bug bounty-programma. Heather Adkins, vicepresident beveiligingstechniek bij Google, meldt in een verklaring dat de gebeurtenis het belang onderstreept van het trainen van krachtige AI-modellen om verantwoordelijk te handelen, en stelt dat Gemini in dit geval correct handelde.

Verwisseling met echte bedrijfsnaam

Volgens Google waren de hackpogingen van Gemini het gevolg van een identiteitsverwisseling. De incidenten deden zich voor tijdens een zogeheten 'capture the flag'-oefening op infrastructuur van Irregular, bedoeld om de cybersecuritycapaciteiten van het model te testen. Het model kreeg de opdracht informatie op te halen uit software van een fictief bedrijf dat toevallig dezelfde naam droeg als een bestaand bedrijf.

Hoewel het model geen internettoegang zou moeten hebben, bleek die volgens Irregular onbedoeld beschikbaar. In het eerste geval raadde het model een wachtwoord en kreeg zo toegang tot de dienst van het echte bedrijf, waarna het zichzelf terugtrok zodra het dit vaststelde. In de twee andere gevallen leidden webzoekopdrachten met de bedrijfsnaam naar openbare opslagplaatsen met inloggegevens van andere bedrijven, die het model uitprobeerde voordat het zich ook daar terugtrok na ontdekking.

Vergelijkbare incidenten bij andere bedrijven

Google zegt het gedrag niet te beschouwen als misalignment, omdat de ingebouwde veiligheidsmaatregelen ervoor zorgden dat het model zichzelf stopte. Het bedrijf wilde de namen van de gehackte bedrijven niet vrijgeven, maar liet weten dat alle drie op de hoogte zijn gesteld. Ook zijn de Amerikaanse federale autoriteiten op de hoogte gesteld. Volgens Google was het nieuwste Gemini-model niet betrokken.

Irregular is vaker betrokken geweest bij vergelijkbare incidenten. In tegenstelling tot Gemini stopte het Claude Opus 4.7-model van Anthropic tijdens een vergelijkbare oefening niet nadat het waarschijnlijk een echt bedrijf had benaderd, terwijl het model van OpenAI ervan uitging dat het bedrijf onderdeel was van de simulatie.