Waarom taalmodellen struikelen over humor en metaforen

"Dat AI-systemen vloeiende taal kunnen produceren, betekent niet automatisch dat ze taal begrijpen zoals mensen dat doen", stelt Tong. Waar mensen dagelijks moeiteloos uitdrukkingen gebruiken als 'een standpunt verdedigen' of lachen om een subtiele kwinkslag, moet kunstmatige intelligentie ideeën samenbrengen die logischerwijs niet bij elkaar horen. En dat blijkt verrassend lastig.

MUNCH- en Hummus-datasets leggen de vinger op de zere plek

Om de systemen op de proef te stellen, ontwikkelde Tong specifieke meetinstrumenten en datasets. Met de Metaphor Understanding Challenge Dataset (MUNCH), bestaande uit ruim 10.000 zinnen, testte zij hoe AI omgaat met figuurlijke taal. Grote taalmodellen bleken herhaaldelijk moeite te hebben om de letterlijke van de bedoelde, figuurlijke betekenis te onderscheiden. Ook de reden waarom iemand een metafoor gebruikt (bijvoorbeeld om een sociale band te versterken), wordt door AI vaak verkeerd geïnterpreteerd.

Nog complexer wordt het wanneer tekst en beeld samenkomen. Voor haar zogeheten Hummus-dataset verzamelde Tong 1.000 spotprenten uit het Amerikaanse tijdschrift The New Yorker. Zelfs de meest geavanceerde multimodale AI-systemen slaagden er amper in de grap te begrijpen.

"Een grap begrijpen gaat om veel meer dan woorden herkennen", legt Tong uit. "Je hebt er culturele kennis, sociale context en een specifiek gevoel voor onverwachte situaties voor nodig."

Gevolgen voor de praktijk

Nu AI in rap tempo transformeert tot virtuele assistent op de werkvloer of in de klas, is deze taalbarrière meer dan een grappig detail. Volgens de onderzoekster beperkt het de brede inzetbaarheid van de technologie. Pas wanneer AI-systemen de subtiliteiten en de culturele context van onze communicatie écht leren doorgronden, kunnen ze evolueren van geavanceerde informatieverwerkers naar intuïtieve en betrouwbare partners op de werkvloer.