Nebius Token Factory ondersteunt AI-gebruik met open-source modellen
Nebius heeft Nebius Token Factory onthuld, een productie-inferentieplatform dat verticale AI-bedrijven en digitale ondernemingen in staat stelt om open-source en aangepaste AI-modellen op grote schaal te implementeren. Het platform combineert de flexibiliteit van open modellen met de betrouwbaarheid, controle en prestaties die vereist zijn voor enterprise-grade toepassingen.
De lancering van Token Factory speelt in op de verschuiving van AI-experimenten naar grootschalige productie. Waar het werken met gesloten (propriëtaire) modellen schaalbeperkingen en hogere kosten kan opleveren, bieden open-source modellen innovatie en betere economische voordelen. Tot nu toe was het beheer en de beveiliging van deze modellen in productie echter vaak complex en arbeidsintensief.
Governed platform voor modellen-levenscyclus
Nebius Token Factory is gebouwd op de full-stack AI-infrastructuur van Nebius en brengt high-performance inferentie, post-training en gedetailleerd toegangsbeheer samen in één beheerd platform. Het ondersteunt alle belangrijke open modellen, waaronder Llama, DeepSeek, en Qwen, en biedt klanten de mogelijkheid om hun eigen modellen te hosten.
Roman Chernin, medeoprichter en Chief Business Officer van Nebius, licht de visie toe: "Elk team heeft unieke vereisten en wil snelheid, betrouwbaarheid en kostenefficiëntie zonder veel gedoe. We hebben Nebius Token Factory niet alleen gebouwd om modellen te bedienen, maar om klanten te helpen echte uitdagingen op te lossen en te engineeren voor schaalbaarheid – door inferentie-pipelines te optimaliseren en open modellen om te zetten in productiesystemen."
Het platform is geoptimaliseerd voor efficiëntie en belooft sub-seconde latentie, autoscaling throughput en een uptime van 99,9%, zelfs bij workloads die honderden miljoenen verzoeken per minuut overschrijden.
Vroege gebruikers
Vroege gebruikers van Nebius Token Factory realiseren aanzienlijke voordelen. Zo heeft Prosus, de holding achter toonaangevende e-commerce merken, kostenreducties tot 26x bereikt in vergelijking met propriëtaire modellen.
Zülküf Genç, Director of AI bij Prosus, benadrukt de schaalbaarheid: “Door gebruik te maken van de dedicated endpoints van Nebius Token Factory, konden we gegarandeerde prestaties en isolatie veiligstellen. De toevoeging van autoscaling was de game-changer, waardoor we massieve workloads tot 200 miljard tokens per dag konden verwerken zonder handmatige interventie.”
Ook leiders in de open-sourcegemeenschap werken samen. Hugging Face, bijvoorbeeld, werkt samen met Nebius om de toegang en schaalbaarheid voor ontwikkelaars te verbeteren. Julien Chaumond, CTO van Hugging Face, merkte op: "Door samen te werken met Nebius Token Factory hebben we snellere en betrouwbaardere inferentie kunnen bieden voor ontwikkelaars die bouwen op grote open-source modellen."
Focus op governance en compliance
Nebius Token Factory introduceert cruciale governance-functies om samenwerking en compliance te vereenvoudigen. Dit omvat Teams and Access Management, Single Sign-On (SSO) en enterprise-gerichte facturering. Beheerders kunnen gedetailleerde rollen instellen en duidelijke auditsporen onderhouden over alle implementaties, wat essentieel is voor naleving van regelgeving zoals HIPAA en ISO 27001.
Het platform is de evolutie van Nebius AI Studio en is vanaf vandaag algemeen beschikbaar. Huidige AI Studio-gebruikers worden automatisch geüpgraded naar Token Factory.
Meer over Artificial intelligence
Over Witold Kepinski
