1. News
2. TinyBox: sei delle GPU per il gaming più veloci di AMD riprogettate per l'IA

TinyBox è un nuovo sistema che utilizza sei delle schede grafiche più veloci di AMD per l'AI, con un prezzo di $15.000. Con una potenza fino a 738 FP16 TFLOPS e 96 GB di memoria GDDR6, il sistema offre prestazioni competitive a un prezzo inferiore rispetto alle alternative Nvidia. Con 583 preordini già ricevuti, TinyBox mira a democratizzare le prestazioni di classe PetaFLOPS per carichi di lavoro AI, offrendo agli sviluppatori la possibilità di esplorare nuovi orizzonti nello sviluppo di software e algoritmi.

La startup Tiny Corp., nota per il framework di rete neurale tinygrad, mira a democratizzare le prestazioni di classe PetaFLOPS per l'intelligenza artificiale. A tal fine, ha presentato il sistema TinyBox che incorpora sei schede grafiche AMD Radeon RX 7900 XTX in un case rack da 12U e sarà venduto a $15.000. Questa cifra include tutto il software e l'hardware necessario.

Il sistema TinyBox utilizza sei schede AMD Radeon RX 7900 XTX (una delle migliori schede grafiche) collegate tramite collegamenti PCIe 4.0 x16 'full fabric' per garantire la massima larghezza di banda. Apparentemente, queste GPU di fascia consumer supportano pienamente le interconnessioni peer-to-peer necessarie per i modelli di lingua di grandi dimensioni (a differenza delle GeForce RTX 4090 di Nvidia), quindi l'azienda ha scelto di utilizzare queste GPU rispetto alle opzioni più popolari di Nvidia.

Prestazioni e specifiche

Dal punto di vista delle prestazioni, il TinyBox può offrire fino a 738 FP16 TFLOPS di prestazioni insieme a 96 GB di memoria GDDR6 che fornisce 21 TB/s di larghezza di banda aggregata della memoria. Per mettere i numeri in contesto, un TinyBox offre il 37% delle prestazioni di calcolo di Nvidia H100 (FP16) ma leggermente più memoria (96 GB invece di 80 GB) e un'ampiezza di banda di memoria massima considerevolmente più alta (21 TB/s invece di 3,35 TB/s).

Hardware e software

Il sistema è alimentato da un processore AMD EPYC 7532 abbinato a 128 GB di RAM. Per quanto riguarda lo storage, il TinyBox dispone di cinque SSD Western Digital SN850X da 1 TB, quattro configurati in RAID per prestazioni migliorate e uno dedicato all'avvio del sistema. Inoltre, la macchina dispone di uno slot vuoto OCP 3.0 16x per il networking, consentendo opzioni di connettività flessibili.

Per quanto riguarda il software, il TinyBox viene fornito con Ubuntu 22.04 e inizialmente includerà solo il framework tinygrad. Tuttavia, è compatibile con altri framework di apprendimento automatico come PyTorch e JAX sull'hardware AMD, offrendo agli utenti la flessibilità di scegliere i propri strumenti preferiti.

Pianificazione e obiettivi

Dato che Tiny vuole democratizzare le prestazioni di classe PetaFLOPS per i carichi di lavoro di intelligenza artificiale, il TinyBox non è solo un prodotto, ma piuttosto una testimonianza che ciò può essere fatto. Fornendo un pezzo di hardware standardizzato, l'azienda mira a consentire agli sviluppatori di esplorare nuovi fronti nello sviluppo di software e algoritmi, portando infine a scoperte nel campo. Con AMD, Intel e Nvidia che introducono nuove architetture di calcolo ad alte prestazioni basate su hardware di fascia data center, possiamo solo chiederci se il TinyBox, basato su hardware di fascia consumer, guadagnerà popolarità.