Nvidia svela l’architettura LPX e il primo benchmark Groq 3: nuova era per l’inferenza AI
LPX, basata su Groq 3 e prodotta su chip LP30, promette prestazioni record nell’inferenza AI secondo benchmark indipendenti.
Nvidia ha presentato all’Hot Chips 2026 la nuova architettura LPX, frutto dell’integrazione delle tecnologie Groq acquisite nel 2025. Igor Arsovski, VP hardware di Nvidia, ha illustrato le caratteristiche del rack LPX basato su chip LP30, evidenziando il primo benchmark indipendente eseguito da Artificial Analysis: 3.431 token al secondo su un workload Gemma 4 31B, valore circa quattro volte superiore ai migliori endpoint pubblici disponibili.
L’architettura LPX si distingue per la scelta di utilizzare esclusivamente SRAM on-die (500MB per chip, nessuna HBM), eliminando cache, branch prediction e out-of-order execution per una pipeline completamente deterministica. Un rack LPX ospita 256 chip per un totale di 128GB di memoria e 40 PB/s di bandwidth aggregata, raggiungendo 315 PFLOPS di computazione FP8 e una latenza chip-to-chip di 350 ns. Questa impostazione permette di mantenere i pesi dei modelli residenti in SRAM, minimizzando la latenza di accesso e ottimizzando la generazione token per token.
La deterministic execution consente al compilatore di prevedere ciclicamente il consumo energetico e migliorare la gestione termica, portando a un incremento di prestazioni dal 10 all’11% sotto limiti termici fissi. Nvidia propone la soluzione LPX come decode co-processor accanto a GPU Rubin, delegando la fase prefill alle GPU e la generazione di output agli LPUs.
