Huawei lancia Flex:ai, software open-source per ottimizzare l'utilizzo dei chip AI
Flex:ai promette di aumentare del 30% l'efficienza dei chip AI, sfruttando GPU e NPU in modo ottimale.
Huawei ha presentato Flex:ai, uno strumento open-source per migliorare l'utilizzo dei chip AI in cluster di calcolo su larga scala. Basato su Kubernetes, il software mira a incrementare del 30% l'efficienza media dei chip AI, consentendo una gestione più efficace delle risorse.
Flex:ai permette di suddividere le GPU o NPU in istanze virtuali multiple, orchestrando i carichi di lavoro su hardware eterogenei. Questo approccio consente di impilare compiti più piccoli e di distribuire modelli più grandi su più schede, ottimizzando l'uso degli acceleratori.
Una delle caratteristiche chiave di Flex:ai è il suo Hi Scheduler, un sistema di schedulazione intelligente che ridistribuisce le risorse inattive in tempo reale, assegnando automaticamente la capacità di calcolo ai carichi di lavoro AI in attesa.
Sebbene Flex:ai si basi su Kubernetes, lo estende con funzionalità uniche, come il supporto per NPUs Ascend, che lo rendono adatto ai cluster costruiti attorno al silicio cinese. Huawei non ha ancora rilasciato il codice sorgente open-source, né la documentazione o i benchmark, sollevando interrogativi su come il software interagisca con gli scheduler Kubernetes esistenti e il supporto per le GPU più comuni.
Cos'è Flex:ai e quali sono le sue principali funzionalità?
Flex:ai è uno strumento open-source sviluppato da Huawei per migliorare l'utilizzo dei chip AI in cluster di calcolo su larga scala. Basato su Kubernetes, consente di suddividere GPU o NPU in istanze virtuali multiple, orchestrando i carichi di lavoro su hardware eterogenei. Una caratteristica chiave è il sistema di schedulazione intelligente Hi Scheduler, che ridistribuisce le risorse inattive in tempo reale, assegnando automaticamente la capacità di calcolo ai carichi di lavoro AI in attesa.
In che modo Flex:ai ottimizza l'uso degli acceleratori AI?
Flex:ai permette di suddividere le GPU o NPU in istanze virtuali multiple, consentendo di impilare compiti più piccoli e di distribuire modelli più grandi su più schede. Questo approccio ottimizza l'uso degli acceleratori AI, migliorando l'efficienza media dei chip AI fino al 30%.
Quali sono le implicazioni dell'integrazione di Flex:ai con Kubernetes?
Sebbene Flex:ai si basi su Kubernetes, lo estende con funzionalità uniche, come il supporto per le NPU Ascend di Huawei. Tuttavia, l'assenza del codice sorgente open-source, della documentazione e dei benchmark solleva interrogativi su come il software interagisca con gli scheduler Kubernetes esistenti e sul supporto per le GPU più comuni.
Quali sono le sfide comuni nella schedulazione delle GPU in Kubernetes?
In Kubernetes, la gestione delle GPU presenta sfide come l'assenza di supporto nativo per la suddivisione delle GPU tra più container e la necessità di utilizzare plugin di terze parti per la gestione delle risorse GPU. Inoltre, la schedulazione efficiente richiede l'uso di etichette dei nodi e selettori per garantire che i carichi di lavoro vengano assegnati ai nodi appropriati con le risorse GPU necessarie.
Esistono soluzioni open-source per la condivisione delle GPU in Kubernetes?
Sì, esistono soluzioni open-source come il KAI Scheduler, progettato per ottimizzare l'allocazione delle risorse GPU in Kubernetes. Questo scheduler consente richieste frazionarie di GPU, migliorando l'utilizzo delle risorse e supportando la condivisione delle GPU tra più pod.
Come si confronta Flex:ai con altre soluzioni di schedulazione GPU in Kubernetes?
Flex:ai offre funzionalità avanzate come la suddivisione delle GPU in istanze virtuali e un sistema di schedulazione intelligente. Tuttavia, a differenza di altre soluzioni open-source come il KAI Scheduler, Flex:ai non ha ancora rilasciato il codice sorgente, la documentazione o i benchmark, rendendo difficile un confronto diretto e una valutazione completa delle sue capacità rispetto ad altre soluzioni disponibili.
