Tesla V100: GPU enterprise riconvertita per LLM a basso costo
Un appassionato ha integrato una Nvidia Tesla V100 in un PC gaming, raggiungendo 32GB di VRAM per modelli LLM avanzati.
Un appassionato di AI ha dato nuova vita a una GPU enterprise Nvidia Tesla V100 SXM2, integrandola in un PC gaming per potenziare le prestazioni nei modelli LLM locali. Per circa $266, il sistema ha visto raddoppiare la propria memoria VRAM a 32GB, utilizzando sia una RTX 4080 che la V100.
Per l'installazione, è stato necessario acquistare un adattatore SXM2-to-PCIe e modificare il sistema di raffreddamento, originariamente estremamente rumoroso (fino a 82dB), tramite una semplice rerouting dei cavi verso l'intestazione PWM della motherboard. Così, riducendo la velocità della ventola al 10%, la temperatura della Tesla V100 si è mantenuta sotto i 50°C anche a pieno carico.
Il sistema, grazie alla VRAM combinata delle due GPU, supporta modelli LLM con 27 miliardi di parametri a una velocità di 32 token al secondo, prestazione ritenuta sufficiente per un utilizzo interattivo e superiore a molte soluzioni cloud API. La configurazione ha utilizzato NixOS e driver Nvidia legacy compatibili con architetture Volta e Ada.
