Open standaard voor AI-verkeer is er

In de afgelopen tien jaar is Envoy uitgegroeid tot de absolute ruggengraat voor internetverkeer op wereldschaal. Grote platforms zoals Netflix, Google, Spotify en Airbnb vertrouwen op deze proxy om miljarden netwerkverzoeken per dag te verwerken. Met de officiële lancering van versie 1.0 van de Envoy AI Gateway krijgt dit fundament nu een volwassen, open-source broertje dat specifiek is ontworpen om de explosieve groei van AI-verkeer in goede banen te leiden.

De release is het resultaat van zestien maanden intensieve samenwerking binnen de Cloud Native Computing Foundation (CNCF), aangevoerd door softwareleverancier Tetrate en gesteund door actieve bijdragen van engineers van Bloomberg en Nutanix. Versie 1.0 betekent dat de code volledig stabiel is en inmiddels al succesvol draait binnen de bedrijfskritische AI-infrastructuren van deze partijen.

Waarom een AI-gateway cruciaal is in het 'Agentic' tijdperk

Traditionele API-gateways zijn gebouwd voor standaard internetverkeer, maar AI-workloads—en met name die van autonome AI-agents—vragen om een heel ander type beheer. Waar reguliere applicaties data opvragen in bytes, praten AI-modellen in 'tokens'. Bovendien moeten enterprise-organisaties vaak schakelen tussen verschillende grote modelleveranciers (LLM's) en interne databases.

Envoy AI Gateway 1.0 lost dit op door een universele, betrouwbare laag te plaatsen tussen de applicaties en de achterliggende AI-modellen. Het platform biedt enterprise-beheer, strikte governance en diepe observability, zonder dat organisaties vastgeketend raken aan de infrastructuur van één specifieke cloud- of AI-leverancier.

De belangrijkste features van versie 1.0

Dankzij de brede community-samenwerking beschikt de gateway direct over een indrukwekkende set aan AI-native functies:

Universele API-laag: Eén enkele interface die compatibel is met OpenAI, maar direct communiceert met alle grote providers, waaronder Anthropic (inclusief AWS Bedrock en GCP Vertex), Google Gemini, Azure OpenAI, Mistral, en DeepSeek.

Gebouwd voor AI-agents (MCP-ondersteuning): De gateway beschikt over een native koppeling voor het Model Context Protocol (MCP). Dit maakt het mogelijk om complexe netwerken van AI-agents, servers en tools veilig achter één eindpunt te beheren, inclusief fijnmazige autorisatie (CEL) en OAuth 2.0-beveiliging.

Token-bewust verkeersbeheer: Traditionele 'rate limiting' kijkt naar het aantal verzoeken per minuut. Envoy AI Gateway begrijpt AI-kosten en kan dataverkeer limiteren en routeren op basis van de specifieke kosten voor input-, output-, gecachte- en reasoning-tokens.

AI-native monitoring: Volledige integratie met OpenInference en OpenTelemetry. Bedrijven kunnen hierdoor exact traceren hoe prompts, embeddings, beeldgeneraties en redeneerprocessen (reasoning) door hun netwerk stromen.

Breed gedragen door de industrie

De adoptie van de gateway onderstreept de behoefte aan een open standaard. "Bij LY Corporation gebruiken we de Envoy AI Gateway om het multi-tenant dataverkeer van onze zelfgehoste LLM's te beheren", zegt Shingo Omura, Principal Architect AI-infrastructuur bij het Japanse techconcern. "Het biedt ons een uniforme API voor flexibele routering, token-gebaseerde limieten en monitoring. Versie 1.0 is een enorme mijlpaal."

Ook Nutanix integreert de technologie direct in haar commerciële portfolio, waaronder de Nutanix Agent Gateway. Volgens Varun Talwar, medeoprichter en CTO van Tetrate, is de transparantie van het project uniek: "De code in de publieke repository is exact dezelfde code die bij Bloomberg in productie draait. Die mate van openheid is zeldzaam, maar precies wat enterprises nodig hebben om AI veilig op te schalen."

De roadmap voor de volgende versies ligt al klaar. De community werkt momenteel aan budgetbeheer op basis van harde dollargrenzen (in plaats van alleen tokens) en nog diepere beveiligingskoppelingen voor systemen waarin AI-agents volledig autonoom beslissingen nemen.