Un Lenovo Yoga trasformato in desktop AI con AMD Radeon 7900 XT: limiti e sfide
Un esperimento estremo collega una GPU high-end a un laptop via M.2 per usare LLM locali, ma la RAM limita le prestazioni.
Un appassionato di tecnologia ha tentato un'operazione radicale: collegare una AMD Radeon RX 7900 XT a un Lenovo Yoga laptop attraverso lo slot M.2 PCIe per utilizzare Large Language Model (LLM) localmente. Dopo aver riscontrato problemi con un desktop Lenovo M910Q, l'autore ha optato per il portatile, ricorrendo a un adattatore ADT-Link PCIe, un alimentatore DeepCool PL750D e una SSD USB come unità di avvio.
L'obiettivo era sfruttare i 20 GB di VRAM della GPU per eseguire modelli come Qwen e GLM con una finestra di contesto da 128K token. Tuttavia, la quantità limitata di DRAM disponibile sul laptop si è rivelata un ostacolo insormontabile: la memoria RAM si è saturata rapidamente, costringendo il sistema a utilizzare la swap e comportando un drastico calo delle prestazioni. La GPU risultava spesso inattiva, vanificando i benefici hardware.
L'esperimento mette in luce i limiti pratici nel tentare soluzioni non convenzionali per l'inferenza AI locale su hardware consumer. Alla fine, l'autore ha scelto di acquistare un desktop AM4 economico, riconoscendo che una workstation tradizionale resta la scelta più sensata per queste applicazioni.
