Nvidia presenta Groq 3 LPU: accelerazione AI a bassa latenza con SRAM
La nuova Groq 3 LPU entra nella piattaforma Rubin, offrendo prestazioni avanzate per l'inferenza AI grazie a una memoria SRAM ad altissima velocità.
Nvidia ha annunciato l'integrazione del nuovo Groq 3 LPU nella piattaforma Rubin durante il keynote GTC, segnando un passo avanti nell'accelerazione dell'AI inference a bassa latenza. Il chip sfrutta 500 MB di SRAM, fornendo 150 TB/s di bandwidth, superando nettamente le tradizionali memorie HBM in termini di velocità di accesso, seppur con una capacità inferiore.
I rack Groq 3 LPX comprenderanno 256 unità Groq 3 LPU, per un totale di 128 GB di SRAM e una larghezza di banda combinata di 40 PB/s, collegate tramite un'interfaccia dedicata da 640 TB/s tra i rack. Questo sistema è progettato come co-processore per Rubin, destinato a potenziare le operazioni di decoding in ogni layer di modelli AI, soprattutto nei futuri ambienti multi-agent che gestiranno trilioni di parametri e milioni di token in tempo reale.
Secondo Nvidia, la sinergia tra GPU Rubin e Groq LPU permetterà di passare da throughput di 100 a oltre 1500 token per secondo, rispondendo così alle esigenze delle interazioni tra agenti AI. Questa innovazione rafforza la posizione di Nvidia nella corsa all'inferenza a bassa latenza, ponendo la piattaforma Rubin come scelta primaria nelle future AI factory.
