1. News
2. Il nuovo software di Phison utilizza SSD e DRAM per aumentare la memoria effettiva per l'addestramento di AI - dimostra una singola workstation che esegue un enorme modello a 70 miliardi di parametri al GTC 2024

Phison ha presentato al GTC 2024 una workstation con quattro GPU che utilizza SSD e DRAM per espandere lo spazio di memoria effettivo per carichi di lavoro di intelligenza artificiale. Questa soluzione consente di eseguire carichi di lavoro AI intensi a una frazione del costo, anche se a discapito delle prestazioni e dei tempi di addestramento più lunghi. Il sistema è rivolto a PMI e utenti interessati a modelli pre-addestrati e all'addestramento su propri set di dati privati.

Una sorpresa inaspettata al GTC 2024

Lo stand di Phison al GTC 2024 ha riservato una sorpresa inaspettata: l'azienda ha dimostrato una singola workstation con quattro GPU che utilizzano SSD e DRAM per espandere lo spazio di memoria effettiva per i carichi di lavoro di AI, consentendogli di eseguire un carico di lavoro che richiede tipicamente 1,4 TB di VRAM distribuiti su 24 GPU H100. La nuova piattaforma aiDaptiv+ dell'azienda è progettata per abbattere le barriere dell'addestramento di AI LLM utilizzando la DRAM di sistema e gli SSD per aumentare la quantità di VRAM GPU disponibile per l'addestramento, il che Phison afferma consentirà agli utenti di completare carichi di lavoro di addestramento di AI generativi intensi a una frazione del costo di utilizzo solo di GPU standard, pur scambiando il costo più basso di ingresso per prestazioni ridotte e quindi tempi di addestramento più lunghi.

Vantaggi per le imprese

Il vantaggio per le imprese che utilizzano questo tipo di implementazione è che possono ridurre i costi, evitare le gravi carenze di GPU che continuano a colpire l'industria, e utilizzare anche modelli open-source che addestrano in locale, consentendo loro di mantenere i dati privati sensibili in azienda. Phison e i suoi partner mirano alla piattaforma per le PMI e altri utenti che non sono così preoccupati dai tempi complessivi di addestramento LLM ma potrebbero beneficiare dall'utilizzo di modelli preaddestrati in commercio e addestrarli sui propri set di dati privati.

La soluzione adDaptiv+ di Phison

La soluzione adDaptiv+ di Phison utilizza una libreria software middleware che 'slices' strati del modello AI dalla VRAM che non vengono attivamente calcolati e li invia alla DRAM di sistema. I dati possono quindi rimanere nella DRAM se necessario prima, oppure possono essere spostati negli SSD se hanno una priorità inferiore. I dati vengono quindi richiamati e spostati nuovamente nella VRAM della GPU per compiti di calcolo secondo necessità, con lo strato appena elaborato che viene spostato nella DRAM e negli SSD per fare spazio al prossimo strato da elaborare.

La demo di Phison con Maingear

Phison ha condotto la sua demo con la nuova workstation Pro AI di Maingear. Questo sistema demo è equipaggiato con un processore Xeon w7-3445X, 512GB di memoria DDR5-5600, e due SSD Phison specializzati da 2TB. Tuttavia, sono disponibili in molteplici varianti che vanno da $28,000 con una GPU a $60,000 per un sistema con quattro GPU. Naturalmente, si tratta di una frazione dell'importo necessario per mettere insieme sei o otto server di addestramento con tutte le reti necessarie. Inoltre, questi sistemi funzioneranno su un singolo circuito da 15A, mentre un rack server richiederebbe un'infrastruttura elettrica molto più robusta.

I partner hardware di Phison

Maingear è il principale partner hardware di Phison per la nuova piattaforma, ma l'azienda ha anche molti altri partner, tra cui MSI, Gigabyte, ASUS e Deep Mentor, che offriranno soluzioni per la nuova piattaforma.

Gli SSD aiDaptiveCache ai100E di Phison

Gli SSD aiDaptiveCache ai100E di Phison sono disponibili nel formato standard M.2 ma sono appositamente progettati per carichi di lavoro di caching. Phison non condivide ancora i dettagli approfonditi di questi SSD, ma sappiamo che utilizzano flash SLC per migliorare sia le prestazioni che la resistenza. I drive sono classificati per 100 scritture al giorno per cinque anni, il che è eccezionalmente resistente rispetto agli SSD standard.

Prospettive future

Il passaggio segna l'espansione di Phison dal suo modello standard di creazione di controller SSD e retimers a fornire nuove soluzioni ibride di software e hardware che migliorano l'accessibilità dell'addestramento AI LLM riducendo drasticamente i costi complessivi della soluzione. Phison ha diversi partner per portare i sistemi sul mercato per il nuovo software e ci aspettiamo di vedere ulteriori annunci nei prossimi mesi.