OpenAI presenta Jalapeño, il chip ASIC che supera Nvidia nei test di inferenza
Jalapeño, sviluppato con Broadcom, offre throughput per kilowatt superiore e minore latenza rispetto alle GPU Nvidia GB300 nei carichi di inferenza.
OpenAI ha svelato Jalapeño, il suo primo chip ASIC per inferenza, sviluppato in collaborazione con Broadcom. Secondo i benchmark presentati alla conferenza Hot Chips, Jalapeño offre tra 1,5 e 1,9 volte più throughput per kilowatt e latenza tra 1,7 e 3,6 volte inferiore rispetto ai sistemi rack Nvidia GB200 e GB300, utilizzando 700W contro i 1.200-1.400W delle GPU rivali.
I test hanno coinvolto modelli come GPT-OSS 120B, DeepSeek R1 670B e Moonshot AI Kimi K2.5. Le prestazioni di Jalapeño si sono distinte soprattutto nei carichi a bassa latenza, dove sono stati registrati incrementi di throughput per kilowatt fino a 104 volte rispetto alle configurazioni Nvidia più rapide.
Ogni package di Jalapeño integra sei stack HBM4 per un totale di 216 GiB di memoria a 15,4 TB/s, mentre il GB300 utilizza HBM3E a una potenza superiore. OpenAI ha dichiarato che l’architettura è focalizzata sull’ottimizzazione della banda HBM.
Jalapeño sarà implementato nei data center OpenAI entro la fine dell’anno. Una seconda generazione del chip è già in fase avanzata di sviluppo. Nonostante ciò, OpenAI continua a dipendere finanziariamente da Nvidia per le proprie infrastrutture di calcolo.
