Slim AI inzetten met BBB

Goed scoren op deze drie B’s vergt heus geen miljoeneninvesteringen. De echte knoop zit 'm in het toepassen van AI-technologie door je hele bedrijf heen, rekening houdend met de unieke uitdagingen, prioriteiten, soorten data, toepassingen, partners in het ecosysteem en regels van jouw sector. Het begint allemaal met toegang krijgen tot de juiste data. Maar hoe zorg je vervolgens dat AI behapbaar blijft en betrouwbare antwoorden levert op je vragen? En hoe voorkom je dat je AI-avontuur eindigt met een datalek?

Betrouwbare AI

LLM's kunnen zeer accurate teksten uitdraaien. Maar soms slaan ze de plank volledig mis. Een van de grotere zorgen rond LLM's is dan ook dat ze nogal eens antwoorden geven met foutieve of gedateerde info.

"Retrieval-Augmented" generatie, oftewel RAG, kan hier het verschil maken. Een generiek Large Language Model (LLM) produceert antwoorden aan de hand van patronen in de trainingsdata. Dat betekent dat het LLM zijn antwoorden verzint zonder tijdens dat hele proces nog nieuwe info toe te voegen.

RAG gaat daarentegen actief op jacht in een dataset om precies te vinden wat het nodig heeft. Krijgt een RAG-systeem een vraag voorgeschoteld, dan duikt het eerst de bibliotheek in om relevante info bij elkaar te zoeken die past bij de vraag en context. Met die info wordt dan een antwoord gegenereerd dat niet alleen accurater, maar ook actueler is dan wat een LLM kan produceren met alleen zijn vooraf ingeprente kennis. Bijkomend voordeel: dankzij RAG kan een model met een bronvermelding extra bewijs leveren voor de betrouwbaarheid van het antwoord.

Beheersbare AI

Uit recent onderzoek van MIT blijkt dat 60% van de CIO's actief inzet op een alles-in-één governancemodel voor hun data en AI. Dit laat zien dat veel bedrijven nog steeds worstelen met een versnipperde datastructuur.

Data governance is van niet te onderschatten belang. Stel je voor dat je AI getraind wordt op gevoelige informatie, en deze vervolgens deelt met de verkeerde werknemers of deze zelfs publiek maakt via een chatbot. Dit is moeilijk te voorkomen in de werking van modellen – LLM's zetten eigenlijk gewoon woorden in de meest logische volgorde aan de hand van huntraining, zonder echt te snappen wat gevoelig ligt.

Maar met de juiste toegangscontroles op je datasets en, als je zelf een LLM aan het brouwen bent, strakke controles op de data die je voor training gebruikt, kun je wel degelijk dit probleem voorkomen. Deze governance checks kun je bovendien combineren met RAG, zodat je LLM's niet per ongeluk gevoelige data doorspelen aan mensen zonder de benodigde rechten.

Betaalbare AI

In slechts enkele jaren is AI ontpopt tot miljardenbusiness. Maar dat wil niet zeggen dat elke organisatie diep in de buidel moet tasten. Dankzij open modellen zoals DBRX van Databricks en Llama 3 van Meta, kunnen organisaties nu voor een zacht prijsje hun eigen LLM optuigen, met features die niet onderdoen voor de peperdure GPT-modellen.

En als je om een of andere reden geen eigen model krijgt opgetuigd, kun je nog steeds RAG in de strijd gooien. Je neemt in dat geval een bestaande service af van een AI-leverancier en gooit er vervolgens je eigen “RAG-sausje” overheen voor extra controle. Zo profiteer je van de kracht van een generiek LLM, maar lever je niet in op kwaliteit en toepasbaarheid van de resultaten.

Met AI gaat het niet meer om wie het snelst is, maar wie het slimst is: betrouwbaar, betaalbaar en beheersbaar zijn de nieuwe sleutelwoorden. Met open modellen en gebruiksvriendelijke diensten is een slimme AI-implementatie nu voor elke organisatie binnen handbereik. En met technieken als RAG versterk je de betrouwbaarheid voor bedrijfsspecifieke doeleinden. Maar uiteindelijk is hoogwaardige governance doorslaggevend. Een robuust en geïntegreerd data- en governance-framework is een must-have voor elke organisatie die de AI-trein niet wil missen.

Door: Kevin Jonkergouw (foto), Regional VP Benelux bij Databricks