Il sistema di raffreddamento di Nvidia NVL72 costa $50,000
I costi aumenteranno a $56,000 con i rack NVL144 di nuova generazione.
Il sistema di raffreddamento dei rack Nvidia GB300 NVL72 ha un valore complessivo di $49,860, secondo un rapporto di Morgan Stanley. Questa cifra è destinata a salire a $55,710 con l'introduzione della soluzione Vera Rubin NVL144, poiché le nuove GPU e i switch NVLink diventeranno più assetati di energia.
Il costo dei componenti di raffreddamento per il rack NVL72, che include 18 vassoi di calcolo e 9 vassoi switch, è composto principalmente da piastre fredde ad alta prestazione, indispensabili per CPU e GPU, al costo di $300 per unità. I vassoi di calcolo richiedono componenti per un valore di circa $40,680, mentre i vassoi switch totalizzano circa $9,180.
Con la piattaforma Vera Rubin NVL144, il sistema di raffreddamento dovrà gestire CPU e GPU più calde, come le Rubin GPUs fino a 1,800W per unità. Questo porterà il costo del sistema di raffreddamento per rack a $55,710, un incremento del 17% rispetto al GB300.
L'evoluzione delle GPU Rubin Ultra comporterà un TDP di 3,600W, richiedendo nuove piastre fredde o tecniche di raffreddamento avanzate come l'immersione. Nvidia sta anche progettando una soluzione NVL576 'Kyber' con raffreddamento liquido, che aumenterà ulteriormente le prestazioni ma comporterà costi termici maggiori.
Quali sono i componenti principali del sistema di raffreddamento del rack Nvidia GB300 NVL72?
Il sistema di raffreddamento del rack Nvidia GB300 NVL72 include principalmente piastre fredde ad alta prestazione, essenziali per CPU e GPU, con un costo di $300 per unità. I 18 vassoi di calcolo richiedono componenti per un valore di circa $40,680, mentre i 9 vassoi switch totalizzano circa $9,180.
Perché il costo del sistema di raffreddamento aumenta con la piattaforma Vera Rubin NVL144?
Con la piattaforma Vera Rubin NVL144, il sistema di raffreddamento deve gestire CPU e GPU più potenti, come le GPU Rubin con un TDP fino a 1,800W per unità. Questo incremento di potenza termica porta il costo del sistema di raffreddamento per rack a $55,710, un aumento del 17% rispetto al GB300 NVL72.
Quali sono le sfide termiche previste con l'introduzione delle GPU Rubin Ultra?
Le GPU Rubin Ultra avranno un TDP di 3,600W, richiedendo nuove piastre fredde o tecniche di raffreddamento avanzate come l'immersione. Nvidia sta progettando una soluzione NVL576 'Kyber' con raffreddamento liquido, che aumenterà ulteriormente le prestazioni ma comporterà costi termici maggiori.
Quali sono le caratteristiche principali della GPU Nvidia Rubin CPX?
La GPU Nvidia Rubin CPX è progettata per gestire applicazioni di inferenza con contesti massivi, come la codifica software su milioni di token e la generazione video. Offre fino a 30 petaFLOPs di calcolo con precisione NVFP4 e dispone di 128GB di memoria GDDR7, ottimizzando le prestazioni e l'efficienza energetica per i carichi di lavoro AI.
Come si confronta la piattaforma Vera Rubin NVL144 CPX con la GB300 NVL72 in termini di prestazioni?
La piattaforma Vera Rubin NVL144 CPX integra 144 GPU Rubin CPX, 144 GPU Rubin standard e 36 CPU Vera, offrendo 8 exaFLOPs di calcolo NVFP4. Questo rappresenta un miglioramento di 7,5 volte rispetto alle prestazioni della GB300 NVL72, grazie anche a 100TB di memoria ad alta velocità e 1,7 petabyte al secondo di larghezza di banda della memoria.
Quali sono le implicazioni dell'aumento del consumo energetico nei data center con l'introduzione delle piattaforme Nvidia Vera Rubin?
L'introduzione delle piattaforme Nvidia Vera Rubin, come la NVL144 e la futura NVL576 'Kyber', comporta un significativo aumento del consumo energetico nei data center. Ad esempio, la NVL576 è progettata per consumare 600kW per rack, richiedendo una revisione completa dell'infrastruttura di alimentazione e raffreddamento per gestire efficacemente l'aumento della densità e del calore generato.
