Nvidia svela le ottimizzazioni dell’architettura Rubin per accelerare l’inferenza AI
La nuova GPU Rubin introduce miglioramenti chiave per incrementare performance ed efficienza nell’inferenza AI su scala rack e data center.
Nvidia ha presentato le principali ottimizzazioni della nuova architettura Rubin, pensata per rispondere alle esigenze crescenti dell'AI agentic nell'inferenza su larga scala. La piattaforma Vera Rubin NVL72 integra 72 GPU Rubin e 36 CPU Vera, ma il focus è sulle soluzioni adottate nel chip per massimizzare l’impiego delle risorse durante i carichi di inferenza.
La GPU Rubin combina due die computazionali tramite il High Bandwidth Interface, offrendo 224 Streaming Multiprocessors, 896 Tensor Cores e 288GB di memoria HBM4 per 22 TB/s di bandwidth. Tra i punti di forza spiccano:
- Ottimizzazione del Tensor Memory Accelerator (TMA) per gestire architetture Mixture-of-Experts (MoE) e migliorare la movimentazione dei pesi tra GPU.
- Raddoppio dell’efficienza nelle operazioni di matrice sui Tensor Core, riducendo la latenza su calcoli critici.
- Incremento della velocità nelle operazioni softmax tramite la Special Function Unit (SFU), con un miglioramento fino a 4 volte per i dati a bassa precisione.
- Gestione più fine delle dipendenze tra kernel, aumentando l’occupazione dei Tensor Core e velocizzando la generazione dei token.
- Riduzione della latenza e del traffico nella comunicazione tra GPU attraverso una nuova funzione di counted writes.
Questi avanzamenti, insieme alle elevate prestazioni delle CPU Vera, rendono la piattaforma Rubin centrale per abilitare sistemi rack e data center capaci di gestire inferenza AI efficiente e a basso costo per token.
