Apache Kafka specialist Confluent biedt nieuwe Cloud mogelijkheden

Confluent, speler op het gebied van datastreaming, heeft nieuwe Confluent Cloud-mogelijkheden aangekondigd die klanten het vertrouwen geven dat hun gegevens betrouwbaar zijn en eenvoudig kunnen worden verwerkt en veilig kunnen worden gedeeld. 

Met Data Quality Rules, een uitbreiding van de Stream Governance- suite, kunnen organisaties eenvoudig problemen met de gegevenskwaliteit oplossen, zodat er op gegevens kan worden vertrouwd voor het nemen van bedrijfskritische beslissingen. Bovendien maken Confluent's nieuwe Custom Connectors, Stream Sharing, de Kora Engine en het programma voor vroege toegang voor beheerde Apache Flink het voor bedrijven gemakkelijker om inzichten uit hun gegevens op één platform te verkrijgen, waardoor de operationele lasten worden verminderd en toonaangevende prestaties worden gegarandeerd.

"Realtime gegevens vormen de levensader van elke organisatie, maar het is een enorme uitdaging om gegevens die uit verschillende bronnen komen in realtime te beheren en te garanderen dat ze betrouwbaar zijn", zegt Shaun Clowes, Chief Product Officer bij Confluent. “Als gevolg hiervan bouwen veel organisaties een lappendeken van oplossingen die geplaagd worden door silo's en zakelijke inefficiënties. De nieuwe mogelijkheden van Confluent Cloud lossen deze problemen op door een eenvoudig pad te bieden om ervoor te zorgen dat vertrouwde gegevens kunnen worden gedeeld met de juiste mensen in de juiste formaten.”

Dankzij gegevens van hoge kwaliteit die snel kunnen worden gedeeld tussen teams, klanten en partners, kunnen bedrijven sneller beslissingen nemen. Dit is echter een uitdaging waar veel bedrijven mee te maken hebben als ze te maken hebben met sterk gedistribueerde open source-infrastructuur zoals Apache Kafka. Volgens het nieuwe Data Streaming Report 2023 van Confluent noemt 72% van de IT-leiders het inconsistente gebruik van integratiemethoden en -standaarden als een uitdaging of grote hindernis voor hun infrastructuur voor datastreaming. De aankondiging van vandaag pakt deze uitdagingen aan met de volgende mogelijkheden:

Regels voor gegevenskwaliteit versterken de Stream Governance-suite van Confluent om betrouwbare gegevens verder te waarborgen Gegevenscontracten zijn formele overeenkomsten tussen stroomopwaartse en stroomafwaartse componenten rond de structuur en semantiek van gegevens die in beweging zijn. Een cruciaal onderdeel van het afdwingen van datacontracten zijn regels of beleid die ervoor zorgen dat datastromen van hoge kwaliteit zijn, geschikt voor consumptie en veerkrachtig zijn voor schema-evolutie in de loop van de tijd.

Confluent's Data Quality Rules , een nieuwe functie in Stream Governance, stelt organisaties in staat om betrouwbare, hoogwaardige datastromen door de hele organisatie te leveren met behulp van aanpasbare regels die gegevensintegriteit en compatibiliteit waarborgen. Met Data Quality Rules kunnen schema's die zijn opgeslagen in Schema Registry nu worden uitgebreid met verschillende soorten regels, zodat teams:

• Zorg voor een hoge gegevensintegriteit door de waarden van afzonderlijke velden binnen een gegevensstroom te valideren en te beperken.
• Los snel problemen met de gegevenskwaliteit op met aanpasbare vervolgacties voor incompatibele berichten.
• Vereenvoudig schema-evolutie met behulp van migratieregels om berichten van het ene gegevensformaat naar het andere te transformeren.

"Een hoge mate van datakwaliteit en vertrouwen verbetert de bedrijfsresultaten, en dit is vooral belangrijk voor datastreaming waarbij analyses, beslissingen en acties in realtime worden geactiveerd", zegt Stewart Bond, VP Data Intelligence and Integration Software bij IDC. “We ontdekten dat klanttevredenheid het meest profiteert van gegevens van hoge kwaliteit. En wanneer er een gebrek aan vertrouwen is als gevolg van gegevens van lage kwaliteit, worden de operationele kosten het hardst getroffen. Mogelijkheden zoals Data Quality Rules helpen organisaties ervoor te zorgen dat datastromen betrouwbaar zijn door hun integriteit te valideren en kwaliteitsproblemen snel op te lossen.”

Met aangepaste connectoren kan elke Kafka-connector worden uitgevoerd op Confluent Cloud zonder infrastructuurbeheer. Veel organisaties hebben unieke data-architecturen en moeten hun eigen connectoren bouwen om hun eigen datasystemen en aangepaste applicaties te integreren met Apache Kafka. Deze op maat gemaakte connectoren moeten vervolgens zelf worden beheerd, waardoor handmatige inrichting, upgrade en monitoring nodig zijn, waardoor waardevolle tijd en middelen worden weggenomen van andere bedrijfskritische activiteiten. Door het Connector-ecosysteem van Confluent uit te breiden , stellen Custom Connectors teams in staat om:

• Maak snel verbinding met elk gegevenssysteem met behulp van de eigen Kafka Connect-plug-ins van het team zonder codewijzigingen.
• Zorg voor hoge beschikbaarheid en prestaties met behulp van logboeken en statistieken om de gezondheid van de connectors en werknemers van het team te bewaken.
• Elimineer de operationele last van het inrichten en voortdurend beheren van low-level connectorinfrastructuur.

“Om accurate en actuele data te leveren op het Trimble Platform, zijn er streaming datapijplijnen nodig die onze interne services en datasystemen over de hele wereld met elkaar verbinden”, zegt Graham Garvin, Product Manager bij Trimble. “Aangepaste connectoren stellen ons in staat om snel een brug te slaan tussen onze in-house eventservice en Kafka zonder de onderliggende connectorinfrastructuur op te zetten en te beheren. We kunnen onze op maat gemaakte connectoren eenvoudig uploaden om gegevens naadloos naar Confluent te streamen en onze focus te verleggen naar activiteiten met een hogere waarde.”

De nieuwe Custom Connectors van Confluent zijn beschikbaar op AWS in bepaalde regio's. Ondersteuning voor extra regio's en andere cloudproviders zal in de toekomst beschikbaar zijn.

Stream Sharing vergemakkelijkt het eenvoudig delen van gegevens met beveiliging op bedrijfsniveau. Geen enkele organisatie staat op zichzelf. Voor bedrijven die activiteiten uitvoeren zoals voorraadbeheer, leveringen en financiële handel, moeten ze voortdurend realtime gegevens intern en extern uitwisselen binnen hun ecosysteem om weloverwogen beslissingen te nemen, naadloze klantervaringen op te bouwen en de bedrijfsvoering te verbeteren. Tegenwoordig vertrouwen veel organisaties nog steeds op platte bestandsoverdrachten of polling-API's voor gegevensuitwisseling, wat resulteert in gegevensvertragingen, beveiligingsrisico's en extra integratiecomplexiteit. Stream Sharing van Confluent biedt het eenvoudigste en veiligste alternatief om streaminggegevens tussen organisaties te delen. Met Stream Sharing kunnen teams:

• Wissel eenvoudig real-time gegevens uit zonder vertragingen rechtstreeks vanuit Confluent naar elke Kafka-client.
• Deel en bescherm uw gegevens veilig met robuust geverifieerd delen, toegangsbeheer en gelaagde coderingscontroles.
• Vertrouw op de kwaliteit en compatibiliteit van gedeelde gegevens door consistente schema's af te dwingen voor gebruikers, teams en organisaties.