PwC blundert met AI: rapporten zitten vol hallucinaties

De rapporten waren bedoeld voor partners van PwC in het Midden-Oosten en komen van de PwC-afdeling in het gebied, schrijft Financial Times. De krant baseert zich op werk van GPTZero, een bedrijf dat met zijn Hallucination Detector bronnen controleert in rapporten en papers. In totaal werden vier rapporten van PwC Middle East geïdentificeerd die in de afgelopen twee jaar zijn gemaakt, die met veel hulp van AI zijn geschreven en waarin zaken niet kloppen.

Veel van de genoemde bronnen verwijzen naar webpagina's waar de genoemde informatie niet op staat of naar pagina's die helemaal niet bestaan. Diverse voetnoten verwijzen naar ongewone bronnen, zoals een tienerblogger met 280 volgers op Medium. Die bron wordt aangehaald bij een verhaal over een 'AI-succesverhaal' van JPMorgan. Saillant detail: het initiatief wat besproken wordt, bestond al in 2017, vijf jaar voor ChatGPT zijn intrede deed. 

GPTZero vond zelfs een paper over luchtkwaliteit in Riyadh dat helemaal door AI lijkt te zijn verzonnen. 

'Nemen accuraatheid serieus'

PwC Middle East zegt tegenover de Financial Times dat het de 'accuraatheid van ons gepubliceerd onderzoek serieus neemt'. Het bedrijf zegt een beperkt aantal ondersteunde bronnen in de rapporten te updaten. "In lijn met onze aanpak van verantwoorde AI hebben we kwaliteitscontroleprocessen voor onderzoek en contentontwikkeling, en we verwachten dat al onze medewerkers zich daaraan houden", aldus het bedrijf. Hoe de fouten in de rapporten terecht zijn gekomen, zegt PwC Middle East niet.

PwC is niet het enige adviesbureau dat fouten maakt met AI. Eerder onderzoek van GPTZero wees uit dat ook rapporten van concurrenten EY en KPMG hallucinaties bevatten. Die rapporten werden vervolgens teruggetrokken.