Google omzeilt geheugenlimieten met dubbele TPU 8i Max-chip

In april van dit jaar lanceerde Google Cloud al de TPU 8t voor grootschalige training en de TPU 8i voor realtime inferentie. De twee nieuwe varianten bouwen voort op deze basis, maar richten zich op twee specifieke uitdagingen die spelen bij enterprise-klanten: hardwarematige databeveiliging en het verwerken van gigantische hoeveelheden contextgegevens.

De TPU 8tx is specifiek ontworpen voor vertrouwelijke en beveiligde inferentie en het op kleine schaal trainen van modellen. Het systeem richt zich op overheden en gereguleerde sectoren die eigen AI-modellen en autonome agenten willen draaien in combinatie met gevoelige bedrijfsdata. Waar gegevens tijdens actieve verwerking in het geheugen normaal gesproken niet versleuteld zijn, bouwt de TPU 8tx de beveiliging direct in de hardwarelaag in. In combinatie met AMD EPYC-processors van de vijfde generatie blijven gevoelige data en gewichten van AI-modellen volledig afgeschermd tijdens het gebruik. Organisaties kunnen hierdoor modellen veilig finetunen en trainen via reinforcement learning zonder vertrouwelijke gegevens te hoeven verplaatsen.

Het tweede nieuwe systeem, de TPU 8i Max, is ontwikkeld om de fysieke grenzen van het chipgeheugen te doorbreken. Wanneer meerdere AI-agenten tegelijkertijd samenwerken over volledige codebases of uren aan videomateriaal, vormt de geheugenbandbreedte al snel de knelpunt. Om dit op te lossen heeft Google twee TPU 8i-chips gecombineerd op één enkele package. De TPU 8i Max levert het dubbele aan rekenkracht, SRAM en HBM-geheugenbandbreedte ten opzichte van de standaard TPU 8i. Omdat het systeem dubbel zoveel rekenkracht biedt binnen dezelfde rack-footprint, kunnen datacenters aanzienlijk meer capaciteit benutten per vierkante meter en per watt.

Compute

Naast de nieuwe hardware introduceert Google verschillende software-updates om TPU's toegankelijker te maken voor ontwikkelaars. Met het open-source initiatief TorchTPU kunnen PyTorch-code en Hugging Face-modellen voortaan native op TPU's draaien zonder dat code herschreven hoeft te worden. Ook brengt Google het Agent Compute Engine-platform uit, dat inactieve AI-agenten automatisch pauzeert en geheugen vrijmaakt om energieverspilling tegen te gaan. Met TPU Sync introduceert het bedrijf daarnaast een open-source geheugenlaag die het intern chipgeheugen, host-DRAM en de netwerkinfrastructuur bundelt tot één dynamisch geheugen.

Met deze stap onderstreept Google zijn strategie om rekeninfrastructuur modulair op te bouwen. Door hardware, netwerk en software als één geïntegreerd systeem te ontwerpen, kan het bedrijf sneller inspringen op de snel veranderende eisen van de enterprise AI-markt.