Google presenta le nuove TPU8: chip specializzati per l'era agentica dell'AI
Due nuove TPU ottimizzate per training e inference, promettono efficienza e potenza per i modelli AI di prossima generazione.
Google ha annunciato la sua ottava generazione di Tensor Processing Units (TPU), introducendo due nuovi chip distinti: TPU 8t per il training e TPU 8i per l'inference, segnando un passo avanti nell'infrastruttura hardware dedicata all'intelligenza artificiale.
La TPU 8t è progettata per accelerare la fase di training dei modelli AI più avanzati, riducendo sensibilmente i tempi necessari. Ogni cluster "pod" ospita fino a 9600 chip con due petabyte di memoria condivisa, raggiungendo 121 FP4 EFlops di potenza computazionale, quasi triplicando la capacità del modello precedente Ironwood. Secondo Google, la goodpute sfiora il 97%, minimizzando tempi morti e inefficienze grazie a innovazioni nel controllo della memoria e nella gestione dei fault hardware.
La TPU 8i, invece, si concentra sull'inference, ottimizzata per eseguire contemporaneamente molteplici agenti specializzati e supportare contesti più lunghi grazie a un triplicato quantitativo di SRAM on-chip. Le nuove TPU si basano esclusivamente su host CPU Axion ARM custom, con un rapporto uno a due tra CPU e TPU, offrendo una maggiore efficienza rispetto all'approccio x86 adottato in precedenza.
L'efficienza energetica rappresenta un punto chiave: Google dichiara il doppio della performance per watt rispetto a Ironwood e introduce miglioramenti nel raffreddamento a liquido delle infrastrutture data center. Entrambe le TPU supportano framework come JAX, PyTorch e vLLM, rendendole una soluzione aperta anche ai developer di terze parti.
