AP waarschuwt voor risico's AI en pleit voor snelle regelgeving

Deze conclusies staan in de zesde editie van de Rapportage AI & Algoritmes Nederland (RAN), die de AP tweejaarlijks publiceert. Als coördinerend toezichthouder analyseert de AP de belangrijkste risico’s en effecten van AI en algoritmes. Deze worden weergegeven in de AI-Impactbarometer, die een verslechterend beeld laat zien. Waar in de vorige rapportage twee van de negen graadmeters op rood stonden, zijn dat er nu vier.

De AP uit zorgen over het gebrek aan voortgang bij de inrichting van toezicht, de ontwikkeling van standaarden, de registratie van algoritmes door de overheid en het zicht op incidenten. Aleid Wolfsen, voorzitter van de AP: "Vijf jaar na het toeslagenschandaal zijn de lessen duidelijk, maar de opvolging blijft achter. Dat komt vooral doordat stevige regels voor algoritmes en AI en handhaving hiervan ontbreken. Nu de druk om AI te omarmen toeneemt, moeten we grondrechten beschermen. Wie een nieuw schandaal wil voorkomen, moet nú handelen."

Risico’s nemen toe

De risico’s van AI groeien volgens de toezichthouder exponentieel, met name door nieuwe toepassingen zoals agentic AI. Daarnaast proberen sommige organisaties onder de AI-verordening uit te komen door hun systemen als ‘gewone algoritmes’ te classificeren. Een voorbeeld is OxRec, dat door reclasseringsorganisaties wordt gebruikt om recidive te voorspellen. Hoewel het om een AI-systeem gaat. was het geregistreerd als algoritme.

De AP signaleert dat wekelijks nieuwe systemen als algoritme worden geregistreerd, terwijl het om AI-systemen gaat. Dit vergroot de risico’s voor mensen. Ook commerciële organisaties ontlopen volgens de AP hun verantwoordelijkheden, wat leidt tot gevaren zoals de oncontroleerbare toename van deepfakes, AI-gestuurde fraude, psychische schade door chatbots en achterblijvende beveiligingsmaatregelen. Recentelijke incidenten, zoals de wildgroei aan AI-stemwijzers en de problemen met Grok – waarmee niet van echt te onderscheiden naaktbeelden konden worden gemaakt – benadrukken de dreiging voor grondrechten en cyberveiligheid.

Discriminatie en veiligheidsrisico’s

De AP stelt dat de risico’s van AI en algoritmes lang worden onderschat, wat kan leiden tot discriminatie of veiligheidsrisico’s. Uit de RAN blijkt dat veel werkgevers AI inzetten bij werving en selectie. Deze systemen moeten accuraat, niet-discriminerend en uitlegbaar zijn, maar in de praktijk schiet transparantie vaak tekort. Met name online en game-based assessments, die voor een eerste selectie worden gebruikt, geven onvoldoende inzicht in hoe zij de geschiktheid van kandidaten beoordelen. Hierdoor krijgen sommige kandidaten vanaf het begin nauwelijks kans.

Volgens de Europese AI-verordening zijn AI-systemen voor werving en selectie hoogrisicosystemen en moeten ze vanaf augustus 2026 voldoen aan strenge eisen.

'Maak snel werk van AI-verordening'

De AP dringt er bij het nieuwe kabinet op aan om snel werk te maken van de uitvoering van de AI-verordening. Dit omvat het vaststellen van de Nederlandse uitvoeringswet, het aanwijzen van toezichthouders, het structureren van financiering voor toezicht en het scheppen van duidelijkheid over de toepassing van de regels. Daarnaast moet Nederland in Europa aandringen op snelle afronding van de discussies over uitstel en vereenvoudiging van de regelgeving. Het doel van de AI-verordening – betrouwbare AI in Europa die veilig is, grondrechten respecteert en innovatie mogelijk maakt – dreigt volgens de AP anders niet gehaald te worden.