1. News
2. 'Enhanced' Nvidia A100 GPUs sul mercato dell'usato cinese

In Cina, sul mercato dell'usato, sono apparse le GPU Nvidia A100 "migliorate" con 7.936 core CUDA e 96GB di memoria HBM2, superando le controparti sanzionate. Queste schede offrono una maggiore potenza rispetto alle A100 PCIe "normali", con un aumento del 15% dei core CUDA e del 20% della memoria HBM2. Nonostante le specifiche potenziate, le A100 7936SP condividono lo stesso die GA100 Ampere delle A100 standard, ma offrono un significativo miglioramento delle prestazioni.

Le nuove schede A100 sono dotate del 15% in più di CUDA cores e del 20% in più di HBM2 rispetto alla versione 'normale' A100 PCIe.

Nvidia's Ampere A100 era precedentemente uno dei migliori acceleratori per l'IA, prima di essere superato dal più recente Hopper H100, senza dimenticare l'H200 e il prossimo Blackwell GB200. Sembra che il produttore di chip abbia sperimentato una versione potenziata che non è mai arrivata sul mercato, oppure che le aziende abbiano modificato clandestinamente l'A100 per renderlo ancora più veloce in seguito alle sanzioni degli Stati Uniti contro la Cina. L'utente Jiacheng Liu ha recentemente scoperto vari prototipi di A100 sul mercato dell'usato cinese che vantano specifiche notevolmente superiori rispetto alla A100 'regolare' di Nvidia.

Nonostante le caratteristiche potenziate, la A100 7936SP (nome non ufficiale, basato sui suoi 7936 stream processor) condivide lo stesso die GA100 Ampere della A100 standard. Tuttavia, la prima ha 124 SM abilitati (Streaming Multiprocessors) su un possibile totale di 128 sul silicio GA100. Non essendo la configurazione massima, la A100 7936SP ha il 15% in più di CUDA cores rispetto alla A100 standard, rappresentando un significativo aumento delle prestazioni.

Anche il conteggio dei Tensor core aumenta proporzionalmente al numero di SM abilitati. Avere più SM abilitati significa quindi che la A100 7936SP possiede anche più Tensor cores. Basandosi solo sulle specifiche, l'aumento del 15% nei conteggi di SM, CUDA e Tensor core potrebbe aumentare le prestazioni dell'IA del 15%.

Nvidia offre la A100 in configurazioni da 40GB e 80GB. La A100 7936SP ha anche due varianti. Il modello A100 7936SP 40GB vanta un clock base del 59% superiore rispetto alla A100 80GB, mantenendo lo stesso clock di boost di 1.410 MHz. D'altra parte, la A100 7936SP 96GB mostra un clock base del 18% più veloce rispetto alla A100 standard, abilitando anche il sesto stack HBM2 per raggiungere una memoria totale di 96GB. Purtroppo, i venditori cinesi hanno censurato la velocità di boost dallo screenshot di GPU-Z.

Il sottosistema di memoria della A100 7936SP 40GB è identico alla A100 40GB. I 40GB di memoria HBM2 funzionano a 2.4 Gbps su un'interfaccia di memoria a 5120 bit utilizzando cinque stack HBM2. Il design contribuisce a una larghezza di banda di memoria massima fino a 1.56 TB/s. Il modello A100 7936SP 96GB, invece, è il pezzo forte qui. La scheda grafica ha il 20% in più di memoria HBM2 rispetto a quanto offre Nvidia grazie al sesto stack HBM2 abilitato. Addestrare modelli di linguaggio molto grandi può richiedere molta memoria, quindi la capacità aggiuntiva sarebbe certamente utile per il lavoro sull'IA.

La A100 7936SP 96GB sembra avere un sottosistema di memoria rivisitato rispetto alla A100 80GB: la memoria HBM2 funziona a 2.8 Gbps anziché 3 Gbps ma risiede su un bus di memoria più ampio a 6144 bit per aiutare a colmare la differenza. Ciò fa sì che la A100 7936SP 96GB abbia circa il 11% in più di larghezza di banda di memoria rispetto alla A100 80GB.

La A100 40GB e 80GB hanno TDP rispettivamente di 250W e 300W. Date le specifiche più veloci, la A100 7936SP potrebbe avere un TDP più alto. Tuttavia, il valore non è disponibile dagli screenshot condivisi di GPU-Z. La PCB di ingegneria ha tre connettori di alimentazione PCIe a 8 pin anziché il singolo connettore di alimentazione PCIe a 8 pin della A100 standard. Essendo un prototipo di ingegneria, la A100 7936SP potrebbe non utilizzare tutti e tre i connettori di alimentazione, ma dovrebbe consumare leggermente più potenza rispetto alla A100 standard a causa dei CUDA cores e della memoria HBM2 extra.

Molti venditori cinesi stanno vendendo la A100 7936SP su eBay. Il modello 96GB varia tra $18.000 e $19.800. Non è noto se gli acceleratori siano campioni di ingegneria sfuggiti dal laboratorio di Nvidia o se siano modelli personalizzati sviluppati dal produttore di chip per un cliente specifico. In ogni caso, non è legale acquistarne uno mentre la A100 potrebbe essere soggetta alle ultime sanzioni per le esportazioni degli Stati Uniti, ma ciò non riguarda le schede già in Cina.

Ovviamente, non c'è alcuna garanzia o supporto ufficiale dei driver. Anche se la A100 7936SP offre prestazioni migliori della A100 allo stesso prezzo o potenzialmente inferiore, l'acquisto di un prodotto al dettaglio o il noleggio di una GPU per tutte le esigenze di IA è più sicuro. Ma per il mercato cinese, che non può più importare le GPU A100, la memoria e il calcolo aggiuntivi sembrano valere la pena considerare.