Lustre: De onbetwiste keuze voor Exascale computing

Andreas: “Lustre heeft zich in ruim 25 jaar ontwikkeld tot de gouden standaard voor high-performance storage. Het systeem wordt momenteel gebruikt door 8 van de top 10 en meer dan 60% van de top 100 HPC-systemen wereldwijd. Van NVIDIA's EOS AI DGX SuperPODtot de Frontier Supercomputer van Oak Ridge National Laboratory en xAI's Colossus AI Supercomputer, Lustre is de technologie die deze baanbrekende systemen mogelijk maakt.”

De kracht van Lustre ligt in zijn schaalbaarheid en bewezen prestaties. Het systeem kan meer dan 10 Tbyte/s lezen en schrijven, ondersteunt meer dan 100 miljoen IOPS, en beheert capaciteiten van 700+ petabytes met meer dan 100 miljard bestanden. Daarnaast kan het tot 20.000 clients en 100.000 GPU's bedienen. Deze indrukwekkende specificaties maken Lustre onmisbaar voor organisaties die werken aan de grenzen van wat technologisch mogelijk is.

Expertise aan het roer

The Lustre Collective wordt geleid door drie vooraanstaande figuren in de Lustre-community. CEO Peter Jones brengt decennia aan ervaring mee in het aansturen van grote Lustre-engineeringteams en heeft prominente leiderschapsrollen vervuld binnen de community. CTO Andreas Dilger is de principal architect van Lustre en leidt sinds 1999 de ontwikkeling van het systeem. Als veteraan in de Linux en open-source community heeft hij belangrijke documenten over Lustre geschreven en treedt hij op als peer reviewer bij conferenties. Colin Faber, Director of Engineering, is een ervaren Lustre-expert met technische leiderschapservaring die heeft bijgedragen aan de ontwikkeling van bekende Lustre storage appliances.

Missie en visie

TLC heeft een duidelijke missie: het architecturen voor de volgende decennia van Lustre-innovatie en het behouden van Lustre als de definitieve keuze voor exascale computing en daarbuiten. De organisatie wil de adoptie van Lustre in de storage-community verbreden en het systeem verder ontwikkelen zonder deviaties. Door belangrijke technologische verbeteringen open bij te dragen en onafhankelijk te opereren, kan TLC cross-community samenwerking faciliteren.

De roadmap voor 2026 is ambitieus. Versie 2.18 van Lustre is in ontwikkeling en brengt belangrijke nieuwe functionaliteiten, waaronder erasure coded files, trash-can/undeletefunctionaliteit, fault-tolerant MGS, client-side data compression en GPU peer-to-peer RDMA. TLC werkt nauw samen met partners zoals DDN, ORNL, HPE en AWS om deze innovaties te realiseren.

Dienstverlening op maat

TLC levert een breed scala aan diensten aan organisaties die met Lustre werken of willen werken. Het portfolio omvat expert consulting en training, production support contracten, feature development, performance tuning en optimalisatie, kennisoverdracht en deployment- en migratieservices. Of een organisatie nu een Lustre-gebaseerde service wil opbouwen of al een Lustre filesystem beheert, TLC biedt op maat gemaakte aanbiedigen die aansluiten bij specifieke behoeften.

In 2026 breidt TLC zijn team uit om te investeren in strategische verbeteringsgebieden zoals verbeterde beschikbaarheidsmechanismen, uitgebreide filesystem-niveau veerkracht, betere serviceability en gebruiksgemak, verbeterde multi-tenancy mogelijkheden, eenvoudigere Quality of Service policies en gemoderniseerde tooling en monitoring.

Peter: “Met The Lustre Collective aan het roer is de toekomst van exascale AI en HPC-storage in goede handen. De combinatie van bewezen expertise, open-source principes en een duidelijke visie maakt TLC tot een onmisbare partner voor organisaties die aan de grenzen van computing opereren.”