Google maakt TorchTPU open source

Het project is ontwikkeld in nauwe samenwerking met het PyTorch-team van Meta en industrie-partners zoals Hugging Face. TorchTPU ondersteunt de standaard PyTorch API's, eager mode voor foutopsporing en torch.compile voor maximale prestaties en geheugenefficiëntie. In bibliotheken zoals Hugging Face Transformers v5 kunnen modellen nu direct naar een TPU worden gestuurd met een eenvoudige opdracht.

Optimalisatie voor inference, serving en agents

Om de stijgende kosten en latentie bij het draaien van grote taalmodellen en autonome AI-agenten aan te pakken, is TorchTPU direct geïntegreerd in populaire open-source serving-engines:

• vLLM: In samenwerking met Inferact biedt TorchTPU ondersteuning voor continuous batching, kwantisatie en multi-chip parallellisme via specifieke Pallas-kernels.
• SGLang: Samen met RadixArk is SGLang geoptimaliseerd voor gestructureerde en agent-gebaseerde taken, waarbij RadixAttention herhaalde rekenstappen in het KV-cachegeheugen voorkomt.
• llm-d 1.0: In samenwerking met Red Hat, IBM en de CNCF-community is versie 1.0 uitgebracht van dit Kubernetes-native platform. Met prefix-cache-aware routing kan llm-d verzoeken efficiënt verdelen over duizenden TPU- en GPU-accelerators.

Grootschalige training en reinforcement learning

Op het gebied van modeltraining introduceert Google integraties met gedistribueerde frameworks zoals TorchTitan, VeRL en Ray. In testen met het TorchTitan-framework op meer dan 8.000 Ironwood TPU's (TPU v7x) behaalde het Qwen 3 8B-model een Model Flops Utilization (MFU) tot 52 procent bij een vrijwel lineaire schaalbaarheid. Voor reinforcement learning (RL) en post-training is een TPU-backend toegevoegd aan het VeRL-framework, terwijl Ray-ondersteuning ontwikkelaars in staat stelt om hybride workflows (CPU, GPU en TPU) binnen één pijplijn te orkestreren.

On-device AI en ontwikkelaarstools

Tot slot treedt LiteRT (voorheen TensorFlow Lite) toe tot het PyTorch-ecosysteem. Met LiteRT-Torch kunnen ontwikkelaars met één commando PyTorch-modellen converteren voor on-device AI-toepassingen op telefoons, laptops en IoT-apparaten voor iOS, Android, Windows en Linux. Ook lanceert Google een preview van de TPU agent suite op GitHub, een AI-gebaseerde toolkit die ontwikkelaars helpt bij het geautomatiseerd overstappen, diagnosticeren en prestatie-tunen van PyTorch-modellen op TPU's.