Gebruik AI-agents in softwareontwikkeling baart IT-beslissers zorgen

Dat blijkt uit onderzoek van Info Support naar agentic engineering. De grootste zorg betreft het weglekken van gevoelige data naar externe AI-providers, genoemd door 43 procent. Ook de kwaliteit van AI-gegenereerde code baart zorgen, bij 39 procent van de respondenten. Daarnaast noemt 33 procent het lastig te bepalen of AI-toepassingen voldoen aan wet- en regelgeving zoals de AVG en de EU AI Act. Voor 32 procent is het moeilijk te controleren wat een AI-agent precies heeft gedaan en waarom. En 31 procent wijst op het risico dat een agent onbedoeld acties uitvoert op systemen of data.

Maatregelen lopen achter

Ondanks deze zorgen lopen de genomen maatregelen achter. Slechts 42 procent van de organisaties heeft security- en compliancemaatregelen ingericht voor de data-uitwisseling met AI-tools. Een goedkeuringsproces voor nieuwe AI-tools is bij 41 procent aanwezig. Logging en monitoring om grip te houden op AI-toolgebruik wordt door 32 procent ingezet, en 26 procent experimenteert in een aparte sandbox- of testomgeving.

Volgens Joop Snijder, Head of AI bij Info Support, is beleid op papier alleen niet voldoende: een AI-agent moet ook technisch worden begrensd. Hij wijst op de mogelijkheid van een zogeheten AI coding harness, een ontwikkelomgeving waarin architectuurprincipes, specificaties, tests, securityregels en feedbackloops technisch worden afgedwongen. Daarmee krijgt een agent alleen toegang tot de data, tools en systemen die voor een taak nodig zijn, en wordt vastgelegd wanneer een agent moet stoppen of menselijke hulp moet inschakelen.