Huawei onthult full-stack AI-datalakeplatform

De basis van het platform bestaat volgens The Register uit drie Huawei-opslagsystemen: OceanStor A Series voor snelle data-toegang, OceanStor Pacific voor nearline data met dynamische tiering tussen beide, en OceanStor Protect voor het back-uppen van data van het Pacific-systeem. 

De OceanStor Protect E8000 kan tot 16 PB aan data opslaan met een doorvoer van 255 TB per uur. De back-upfunctie beschermt data in de A-Series door deze direct naar OceanProtect-systemen te back-uppen. Huawei claimt dat de AI-entropieanalysefunctie een detectiepercentage van 99,99 procent heeft voor ransomware-aanvallen op back-ups.

Boven deze opslaglaag bevinden zich twee softwarelagen: een datamanagementlaag en een AI-toolchainlaag. De datamanagementlaag omvat Data Management Engine (DME)-functies die een centrale managementinterface bieden voor Huawei-opslag, opslag van derden, switches en hosts via API's. Deze laag omvat Huawei's datawarehouse, een vector database (momenteel in ontwikkeling, mogelijk met een partner), datalogboek, data lineage, versiebeheer en toegangscontrole. De Omni-Dataverse is een globaal bestandssysteem en datamanagementframework dat datasilo's over geografisch verspreide datacenters elimineert door één enkele datanaamruimte te bieden.

Full-stack aanpak

De bovenste AI-toolchainlaag maakt de datasets uit het datalake beschikbaar voor verwerking door verschillende hardware-engines via pijplijnen en toolsets van derden, zoals LangChain. Deze laag bevat Huawei iData voor data-ingestie en -enablement, en ModelEngine voor model- en applicatie-enablement. De Model Engine biedt een end-to-end AI-toolchain voor het leveren en plannen van taken op zowel dedicated als gedeelde pools van CPU's, NPU's en GPU's.

Huawei's full-stack aanpak positioneert het als een concurrent van andere leveranciers zoals Dell (met AI Factory) en VAST Data, die vergelijkbare concepten aanbieden. Hoewel Huawei mogelijk beperkingen ondervindt op de Amerikaanse markt, kan het bedrijf elders een sterke concurrent blijken te zijn, met name door de mogelijkheid om bestaande klanten te upgraden en nieuwe projecten aan te trekken.