Diverse factoren beïnvloeden antwoorden van AI-systemen op vragen

Dat blijkt uit onderzoek van Trend Micro, waarbij bijna 100 AI-modellen zijn getest met meer dan 800 gerichte prompts. Deze prompts waren ontworpen om vooroordelen, politiek en cultureel bewustzijn, geofencing-gedrag, signalen van gegevenssoevereiniteit en contextuele beperkingen te beoordelen. Tijdens het onderzoek werden experimenten herhaaldelijk uitgevoerd om te meten hoe resultaten in de loop der tijd en op verschillende locaties veranderden. In totaal zijn meer dan 60 miljoen invoertokens en over 500 miljoen uitvoertokens geanalyseerd.

Identieke prompts leiden tot verschillende antwoorden

Uit de bevindingen blijkt dat identieke prompts verschillende antwoorden kunnen opleveren in verschillende regio’s en modellen, en zelfs kunnen variëren bij herhaalde interacties met hetzelfde systeem. In politiek gevoelige scenario’s, zoals rond betwiste gebieden of nationale identiteit, vertoonden de modellen duidelijke regionale verschillen. Bij andere tests leverden de modellen inconsistente of verouderde resultaten op in gebieden waar juist precisie vereist is, zoals financiële berekeningen en tijdgevoelige informatie.

"Veel organisaties gaan ervan uit dat AI zich gedraagt als traditionele software, waarbij dezelfde input dezelfde output oplevert", aldus Robert McArdle, Director of Cybersecurity Research bij Trend Micro. "Ons onderzoek toont aan dat deze aanname niet klopt. Lokale taalmodellen kunnen hun antwoorden aanpassen op basis van regio, taal en beveiligingsmaatregelen en per interactie verschillende antwoorden geven. Wanneer AI-outputs direct worden gebruikt in klanttrajecten of zakelijke beslissingen, lopen met name internationale organisaties het risico om de controle over hun merkidentiteit, compliance en culturele afstemming te verliezen."

'Geen plug-and-play productiviteitstool'

"AI moet niet worden behandeld als een plug-and-play productiviteitstool", voegt Robert McArdle toe. "Organisaties moeten AI benaderen als een afhankelijkheid met een hoog risico. Er moet sprake zijn van duidelijke governance, gedefinieerde verantwoordelijkheid en menselijke verificatie voor alle output. Dat betekent ook dat er transparantie moet worden geëist van de AI-leverancier over hoe modellen zich gedragen, op welke data ze zijn gebaseerd en welke beveiligingsmechanismen worden toegepast. AI kan absoluut innovatie en efficiëntie stimuleren, maar alleen als het wordt ingezet met een duidelijk begrip van zijn beperkingen en met controles die weerspiegelen hoe deze systemen zich in de praktijk gedragen."

Meer informatie is te vinden in het rapport 'Risks of Unmanaged AI Reliance: Evaluating Regional Biases, Geofencing, Data Sovereignty, and Censorship in LLM Models'.