Intelligenza artificiale su microcontrollore: 28,9 milioni di parametri sull’ESP32-S3
Un developer ucraino dimostra che un modello AI di quasi 30 milioni di parametri può girare localmente su un microcontrollore economico.
Un importante traguardo nel campo dell'embedded AI è stato segnato dal developer ucraino Slava S, noto come slvDev, che ha eseguito un modello linguistico da 28,9 milioni di parametri su un ESP32-S3. Questo microcontrollore, dal costo inferiore ai 10 dollari, dispone di risorse estremamente limitate: 512KB di SRAM, 8MB di PSRAM e 16MB di Flash.
Per superare i limiti di memoria, slvDev ha adottato la tecnica Per-Layer Embeddings, introdotta da Google con Gemma. Quantizzando il modello a 4 bit e memorizzando la grande embedding table (25 milioni di parametri) sulla Flash, il sistema sfrutta la necessità di accedere solo a poche righe per token generato. In questo modo, la lentezza della Flash non penalizza le prestazioni e la SRAM resta libera per il reasoning core.
Il modello, addestrato sul dataset TinyStories, è limitato alla generazione di brevi racconti di fantasia; non può rispondere a domande o generare codice, ma la vera innovazione è l’efficienza architetturale. Questo risultato apre la strada all’uso di reti neurali su hardware a basso costo per specifiche applicazioni embedded, suggerendo nuove possibilità operative anche in ambito industriale.
