Databricks wil betrouwbaarheid van AI-agents verhogen met Quotient AI

Bedrijven die AI-agents van pilotfase naar productie brengen, staan voor een nieuwe uitdaging: hoe kunnen ze de prestaties op schaal betrouwbaar meten, debuggen en verbeteren? AI-agents bestaan uit complexe systemen van modellen, geheugen, tools en vaardigheden. Teams moeten niet alleen de kwaliteit kunnen evalueren, maar ook snel inzicht krijgen in de oorzaak van fouten. Dit vereist volgens Databricks een evaluatiesysteem dat systeemfouten kan interpreteren.

Kloof dichten

Quotient is ontwikkeld om de kloof in evaluatie en continu leren van AI-agents te dichten. Het platform is gebouwd door ingenieurs die eerder verantwoordelijk waren voor kwaliteitsverbeteringen bij GitHub Copilot. Quotient analyseert complete sporen van AI-agents in productiesystemen om issues zoals hallucinaties, redeneerfouten en onjuist toolgebruik op te sporen. Deze signalen worden automatisch gegroepeerd en omgezet in gestructureerde evaluatiedatasets en beloningssignalen, die gebruikt kunnen worden voor monitoring en fijnregeling van de agents. Hierdoor kunnen organisaties niet alleen het gedrag van AI-agents observeren, maar deze ook systematisch verbeteren. De systemen ontwikkelen zich zo tot domeinexperts die continu leren van daadwerkelijk gebruik.

Databricks biedt al langer tools voor het evalueren en verbeteren van AI-agents. Met de toevoeging van Quotient versterkt het bedrijf deze mogelijkheden door een continue evaluatie- en verbeterlaag in te bouwen. Dit komt ten goede aan drie belangrijke productgebieden binnen Databricks:

• Genie: een AI-agent waarmee medewerkers via chat inzichten uit hun data kunnen halen.
• Genie Code: een autonome AI-agent die datateams helpt bij het plannen, bouwen en uitvoeren van data-engineering, machine learning en analytische workflows.
• Agent Bricks: een oplossing waarmee organisaties hoogwaardige AI-agents kunnen bouwen en opschalen op basis van hun eigen data.