AI vertraagt ervaren Open Source ontwikkelaars

De studie, uitgevoerd met 16 ervaren ontwikkelaars die werkten aan hun eigen, grote open-source projecten, liet zien dat taken waarvoor AI-tools (voornamelijk Cursor Pro met Claude 3.5/3.7 Sonnet) waren toegestaan, significant langer duurden dan taken zonder AI-hulp. Opmerkelijk is dat de ontwikkelaars vooraf een versnelling van 24% verwachtten en zelfs na de vertraging bleven geloven dat AI hen met 20% had versneld.

Dit resultaat werpt een nieuw licht op de effectiviteit van AI in de praktijk, in tegenstelling tot de veelbelovende scores op theoretische benchmarks en anekdotische succesverhalen. Hoewel benchmarks de prestaties van AI-modellen vaak op geïsoleerde taken met algoritmische evaluatie meten, richtte deze studie zich op realistische, complexe taken die een diepgaande contextkennis vereisten.

Technologie

Onderzoekers noemen vijf factoren die mogelijk bijdragen aan de vertraging, waaronder de complexiteit van de taken, de noodzaak van hoge kwaliteitsstandaarden, en de beperkte ervaring van de ontwikkelaars met de specifieke AI-tools. De studie benadrukt dat dit een momentopname is van vroege AI-capaciteiten en dat de technologie snel evolueert.

De bevindingen onderstrepen het belang van rigoureus praktijkgericht onderzoek om de werkelijke impact van AI op menselijke productiviteit beter te begrijpen, vooral gezien de potentiële risico's van een te snelle AI-ontwikkeling. De onderzoekers zijn van plan deze methodologie te blijven gebruiken om de versnelling door AI in de toekomst te blijven meten.