Enfabrica rivoluziona le AI con un pool di memoria Ethernet da 18TB
La startup sostenuta da Nvidia propone una soluzione innovativa per aumentare la capacità di memoria nei server AI.
Enfabrica, una startup supportata da Nvidia, ha sviluppato un sistema chiamato Emfasys che consente di aggiungere fino a 18TB di memoria DDR5 a qualsiasi server tramite connessione Ethernet. Questo sistema è progettato per gestire carichi di lavoro inferenziali su larga scala ed è attualmente in fase di test con clienti selezionati.
Basato sul ACF-S SuperNIC dell'azienda, il sistema Emfasys si integra perfettamente con server GPU a 4 e 8 vie utilizzando porte Ethernet standard da 400G o 800G e l'Accesso Diretto alla Memoria Remota (RDMA). Questa configurazione consente un accesso alla memoria a bassa latenza senza l'intervento della CPU.
Il sistema è pensato per rispondere alle crescenti esigenze di memoria delle applicazioni AI moderne, che utilizzano prompt sempre più lunghi e finestre di contesto estese. Grazie a Emfasys, gli operatori di data center possono espandere flessibilmente la memoria dei server AI, migliorando l'efficienza e riducendo i costi complessivi dell'infrastruttura.
Enfabrica sostiene che questa soluzione può ridurre il costo per token generato fino al 50% in scenari complessi. Il sistema Emfasys e il chip ACF SuperNIC da 3.2 Tb/s sono attualmente in fase di valutazione da parte di clienti selezionati.
Cos'è il sistema Emfasys sviluppato da Enfabrica?
Emfasys è un sistema sviluppato da Enfabrica che consente di aggiungere fino a 18TB di memoria DDR5 a qualsiasi server tramite connessione Ethernet. È progettato per gestire carichi di lavoro inferenziali su larga scala, migliorando l'efficienza e riducendo i costi nei data center AI.
Come si integra Emfasys con i server GPU esistenti?
Emfasys si basa sul chip ACF-S SuperNIC di Enfabrica e si integra con server GPU a 4 e 8 vie utilizzando porte Ethernet standard da 400G o 800G e l'Accesso Diretto alla Memoria Remota
Quali vantaggi offre Emfasys per le applicazioni AI moderne?
Emfasys risponde alle crescenti esigenze di memoria delle applicazioni AI moderne, che utilizzano prompt più lunghi e finestre di contesto estese. Permette agli operatori di data center di espandere flessibilmente la memoria dei server AI, migliorando l'efficienza e riducendo i costi complessivi dell'infrastruttura.
Qual è la differenza tra memoria HBM e DDR5 utilizzata in Emfasys?
La memoria HBM
In che modo Emfasys contribuisce a ridurre i costi nei data center AI?
Emfasys consente di utilizzare memoria DDR5 più economica al posto della costosa HBM, riducendo così i costi complessivi. Inoltre, migliora l'efficienza dei server AI, permettendo di gestire carichi di lavoro più elevati senza aumentare proporzionalmente le spese.
Quali sono le prospettive future per l'adozione di Emfasys nei data center?
Emfasys è attualmente in fase di test con clienti selezionati e ha già attirato l'interesse di grandi operatori di cloud AI. Se i test avranno successo, è probabile che la sua adozione si diffonda, offrendo una soluzione scalabile ed economica per le crescenti esigenze di memoria nei data center AI.
