'We staan voor een gouden eeuw van data en AI’

Het is een van de inzichten uit het nieuwe onderzoeksrapport van Databricks, The State of Data and AI 2023. Voor dit onderzoek analyseerde Databricks geanonimiseerde gebruiksdata van ruim 9000 klanten om trends in data- en AI-gebruik te ontdekken. Uit de analyse blijkt een gestage stijging in AI-gebruik vanaf februari 2022, met een explosie na de lancering van ChatGPT. Op basis van het rapport stelt Databricks dat we aan het begin van een gouden eeuw van data en AI staan.

Natuurlijke taalverwerking snel populairder

Naast LLM-gebruik ziet Databricks ook dat natuurlijke taalverwerking (NLP) populairder is geworden: zo’n 49% van het gebruik van Python data science libraries is bestemd voor deze technologie. Ook transformer-modellen worden nog altijd veel gebruikt, hoewel het gebruik ‘slechts’ met 82% steeg tussen november 2022 en mei 2023.

Al dit AI-gebruik heeft als resultaat dat organisaties meer modellen in gebruik nemen dan ooit. Het aantal in gebruik genomen machine learning-modellen steeg met 411% jaar op jaar, en het aantal machine learning-experimenten steeg met 54% jaar op jaar.

Open source baant de weg voor data en AI

Open source-software is ontzettend populair in de wereld van data en AI. 8 van de 10 meest gebruikte data- en AI-producten zijn gebaseerd op open source. De snelstgroeiende adoptie ziet Databricks bij dbt, een tool voor datatransformatie, gevolgd door Fivetran en Informatica (de enige twee enterprise software-oplossingen op de lijst). De meest gebruikte oplossingen in absolute aantallen zijn Microsoft Power BI, Plotly en Tableau.

Tot slot stappen steeds meer bedrijven over op een Lakehouse oplossing. Zo groeide het datavolume in Delta Lake met 304% jaar op jaar. 61% van de nieuwe Lakehouse gebruikers migreerde vanuit on-prem en cloud-based datawarehouses.

Meer informatie is beschikbaar in het onderzoeksrapport.