Nieuwe AI-aanval steelt data via onzichtbare prompts in afbeeldingen

Wanneer gebruikers afbeeldingen uploaden naar AI-systemen, worden deze vaak automatisch verkleind voor betere prestaties zo meldt Bleepingcomputer. Hierbij worden verwerkingsalgoritmes gebruikt die verborgen patronen, zoals zwarte tekst, zichtbaar kunnen maken. De AI interpreteert deze tekst als instructies, waardoor het systeem opdrachten uitvoert zonder dat de gebruiker hiervan op de hoogte is.

De onderzoekers demonstreerden de aanval succesvol tegen verschillende AI-systemen van Google, waaronder de Gemini CLI en de Gemini-webinterface. Een voorbeeld toonde aan hoe Google Agenda-data kon worden geëxporteerd naar een extern e-mailadres. De aanval werkt ook tegen Genspark en kan zich uitbreiden naar andere AI-tools.

Om de aanval te voorkomen, adviseren de onderzoekers AI-systemen om beperkingen op te leggen aan de afbeeldingsgrootte en gebruikers een voorbeeld te tonen van de verkleinde afbeelding. Ook moet er expliciete toestemming worden gevraagd voor gevoelige acties. De onderzoekers hebben een open-source tool, Anamorpher, gepubliceerd om de aanval te demonstreren en bedrijven te helpen zich hiertegen te verdedigen.