Databricks komt met no-code ETL-oplossing voor bouwen productieklare datastromen

Ondernemingen moesten tot nu toe kiezen tussen no-code/low-code tools voor analisten met beperkingen in governance, schaalbaarheid en betrouwbaarheid, of technische data engineering-teams inschakelen voor productieklare pipelines. Deze teams zijn vaak overbelast, wat leidt tot hybride omgevingen die moeilijk te beheren zijn. Databricks combineert Lakeflow Designer beide werelden combineert: no-code datapipelines met governance, schaalbaarheid en betrouwbaarheid.

Snelle datastromen

Ali Ghodsi, medeoprichter en CEO van Databricks, benadrukt het belang van snelle datastromen voor de ontwikkeling van slimme toepassingen: “De druk op organisaties om hun AI-plannen uit te breiden wordt steeds groter. Door snel de juiste data op de juiste plek te krijgen, kunnen slimme toepassingen sneller worden ontwikkeld”, zegt Ghodsi. “Met Lakeflow Designer kunnen meer mensen binnen een organisatie productieklare datastromen bouwen. Zo kunnen teams sneller hun ideeën omzetten in resultaten.”

Lakeflow Designer stelt bedrijfsanalisten in staat om no-code ETL-datastromen te bouwen met natuurlijke taal en een visuele drag-and-drop gebruikersinterface. Dit biedt dezelfde schaalbaarheid, governance en beheersgemak als pipelines die door data engineers zijn gebouwd. Dankzij de integratie met Lakeflow, Unity Catalog en de Databricks Assistant kunnen niet-technische gebruikers zakelijke vraagstukken oplossen zonder extra beheer- of governance-uitdagingen voor data engineers.

Nieuwe functionaliteiten in Lakeflow omvatten een nieuwe ontwikkelomgeving voor data engineering met AI-ondersteuning, nieuwe connectors voor datavergaring zoals Google Analytics, ServiceNow en SQL Server, en Zerobus voor het schrijven van grote hoeveelheden event-data in bijna real-time naar het lakehouse.

'Brengt alles samen'

Chris Sharratt, Data Engineer bij Rolls-Royce, vertelt over zijn ervaring met de nieuwe editor: "De nieuwe editor brengt alles samen: code, pipeline-overzicht, resultaten, configuratie en troubleshooting. Geen gedoe meer met talloze browsertabs of het verliezen van context. Ontwikkeling van datastromen is nu veel gerichter en efficiënter. Ik zie direct het effect van elke codewijziging. Met één klik ga ik naar de juiste foutregel, wat debugging versnelt. Alles is met elkaar verbonden: van code naar data, van code naar tabellen en andersom. Wisselen tussen verschillende pipelines is eenvoudig en features zoals automatisch geconfigureerde utility folders halen de complexiteit weg. Dit voelt als hoe pipeline-ontwikkeling hoort te zijn."

Lucas Salzburger, Project Manager bij Porsche Holding Salzburg, benadrukt het belang van de Salesforce-connector: "Met de Salesforce-connector van Lakeflow Connect dichten we voor Porsche een belangrijk gat op het gebied van gebruiksgemak en prijs. Op deze manier creëren we een geheel nieuwe klantervaring waardoor de band tussen Porsche en de klant wordt versterkt, dankzij een duidelijke en samenhangende klantreis."

Databricks Lakeflow is op de Data + AI Summit gelanceerd en algemeen beschikbaar. De nieuwe ontwikkelomgeving voor data engineering is in publieke preview, terwijl de nieuwe data connectors in verschillende releasefases beschikbaar zijn. Zerobus start in private preview en Lakeflow Designer komt kort na de Data + AI Summit beschikbaar in private preview.