AI su un PDP-11: Transformer moderno su hardware del 1977
Un veterano sviluppatore Windows esegue un modello transformer su un PDP-11, dimostrando la semplicità alla base dell'AI moderna.
Il noto sviluppatore Dave Plummer ha mostrato un progetto unico: l'esecuzione di un modello transformer su un PDP-11, storico computer del 1977 con processore a 6 MHz e 64KB di RAM. Il modello, chiamato Attention 11 e scritto interamente in linguaggio assembly per PDP-11 da Damien Buret, dimostra che i principi fondamentali dell'intelligenza artificiale possono essere realizzati anche su hardware estremamente limitato.
L'esperimento consiste nel far apprendere alla macchina una regola strutturale: invertire una sequenza di otto cifre. Nonostante la semplicità apparente, il transformer deve apprendere il comportamento tramite addestramento, replicando così il funzionamento di modelli come ChatGPT, ma in forma ridotta. Plummer afferma: "Non è magia; è solo la ripetizione sistematica di calcoli che aggiornano migliaia di pesi".
Il modello utilizza 1.216 parametri, aritmetica fixed-point, precisione a 8 bit e una sola testa di attenzione. Dopo circa 350 passi di training (3,5 minuti), il PDP-11 raggiunge il 100% di accuratezza nell'inversione dei numeri. Secondo Plummer, questa dimostrazione sottolinea che l’essenza dell’apprendimento automatico risiede nell’efficienza e nell’ottimizzazione, fattori chiave anche per il futuro sviluppo dell’AI.
