1. News
2. Nvidia Hopper H200 batte il record del benchmark MLPerf con TensorRT

Nvidia Hopper H200 ha superato il record di benchmark MLPerf con TensorRT, migliorando del 45% rispetto alla generazione precedente H100. Il nuovo chip H200 ha una memoria aggiornata a 24GB e una larghezza di banda di 4.8 TB/s. Il record potrebbe essere presto superato dai prossimi chip Blackwell B200. Nvidia ha anche migliorato le prestazioni con TensorRT, ottenendo un aumento del 3X in sei mesi. Altri ottimizzazioni includono sparsità strutturata, potatura e DeepCache.

Nvidia ha superato il suo record MLPerf precedente con software e hardware ottimizzati

Nvidia ha riportato che la nuova GPU AI Hopper H200, combinata con il software TensorRT LLM che migliora le prestazioni, ha battuto il record nei più recenti benchmark di prestazioni MLPerf. Questa combinazione ha aumentato le prestazioni dell'H200 a incredibili 31.712 token al secondo nel benchmark Llama 2 70B di MLPerf, un miglioramento del 45% rispetto alla generazione precedente della GPU Hopper H100 di Nvidia.

Caratteristiche della Hopper H200

La Hopper H200 è essenzialmente lo stesso silicio della H100, ma la memoria è stata aggiornata a 24GB con stack 12-Hi di HBM3e. Ciò si traduce in 141GB di memoria per GPU con un bandwidth di 4.8 TB/s, mentre la H100 tipicamente aveva solo 80GB per GPU (94GB su alcuni modelli) con un bandwidth fino a 3 TB/s.

Prestazioni e confronti

Questo record sarà senza dubbio superato più avanti quest'anno, o all'inizio dell'anno prossimo, una volta che le prossime GPU Blackwell B200 arriveranno sul mercato. Nvidia probabilmente ha già Blackwell in casa e in fase di test, ma non è ancora disponibile pubblicamente. Tuttavia, ha dichiarato prestazioni fino a 4 volte superiori rispetto alla H100 per carichi di lavoro di training.

MLPerf e TensorRT

Nvidia è l'unico produttore di hardware AI sul mercato che ha pubblicato risultati completi da quando i benchmark di inferenza dei data center di MLPerf sono diventati disponibili alla fine del 2020. L'ultima iterazione del nuovo benchmark di MLPerf utilizza Llama 2 70B, un modello linguistico all'avanguardia che sfrutta 70 miliardi di parametri. Llama 2 è più di 10 volte più grande del modello LLM GPT-J utilizzato in precedenza nei benchmark di MLPerf.

Altre ottimizzazioni di Nvidia

Oltre a TensorRT, Nvidia ha integrato diverse altre ottimizzazioni nelle sue GPU. La sparsità strutturata aggiunge velocizzazioni del 33% nell'inferenza con Llama 2 riducendo i calcoli sulla GPU. Il pruning è un'altra ottimizzazione che semplifica un modello AI o LLM per aumentare il throughput di inferenza. DeepCache riduce i calcoli necessari per l'inferenza con modelli Stable Diffusion XL, accelerando le prestazioni del 74%.