Altman critica l'IA sul PC e difende i data center condivisi

Su un computer personale, un assistente basato sull'intelligenza artificiale può funzionare in due modi: i calcoli si svolgono sulla macchina dell'utente oppure in grandi centri di elaborazione dati condivisi, i data center. Sam Altman, amministratore delegato di OpenAI, la società di ChatGPT, difende la seconda strada. In una dichiarazione che ha acceso il dibattito ha definito piuttosto terribile l'inferenza locale con modelli aperti, cioè la fase in cui un modello già addestrato produce le risposte direttamente sul proprio PC, usando software liberamente scaricabile.

Il suo ragionamento riguarda un bene scarso: la DRAM (Dynamic Random Access Memory), la memoria di lavoro dei computer e dei server. Altman considera problematico affidare grandi quantità di questa memoria ai singoli utenti quando la impiegano solo per il 5% del tempo. Quel 5% fa parte del suo argomento e va letto come tale, senza estenderlo all'intero utilizzo dei PC. La domanda resta concreta: quante risposte utili produce la stessa quantità di hardware quando viene condivisa? Per rispondere servono criteri più ampi, perché l'efficienza dell'infrastruttura e la convenienza di chi la usa possono portare a scelte diverse.

Il vantaggio dei data center

In un data center, una sola copia del modello caricata in memoria può rispondere a molte richieste. Il batching, cioè il raggruppamento delle elaborazioni, permette di dividere tra più utenti il costo della lettura dei parametri, i valori numerici che determinano il comportamento del modello. I sistemi di gestione possono inoltre inserire nuove richieste mentre altre si concludono, così gli acceleratori, cioè i chip specializzati nei calcoli di IA, restano sempre occupati. Qui sta il fondamento tecnico della posizione di Altman: un'infrastruttura condivisa sfrutta meglio risorse costose rispetto a una macchina dedicata a conversazioni intermittenti.

Un'infrastruttura condivisa sfrutta meglio le risorse costose rispetto a un computer personale

Una memoria contesa tra prodotti

La memoria, però, comprende tecnologie diverse. Gli acceleratori più potenti dei server per l'IA usano spesso la HBM (High Bandwidth Memory, memoria ad alta larghezza di banda), distinta dai moduli installati di solito nei PC. Tra i due mondi esiste comunque una competizione industriale: per produrre la stessa quantità di bit, la generazione HBM3E richiede circa tre volte la capacità produttiva su wafer della DDR5, la memoria dei PC più recenti. I wafer sono le fette di silicio da cui si ricavano i chip, e il confronto vale a parità di nodo tecnologico, cioè di livello di miniaturizzazione. La domanda degli acceleratori può quindi assorbire capacità che altrimenti andrebbe ad altri prodotti. Il dato descrive un vincolo produttivo, mentre prezzi e disponibilità dipendono anche dalle decisioni commerciali dei produttori.

Da qui a considerare spreco ogni uso locale, però, il passo è discutibile. Un computer personale serve anche per lavorare, programmare e gestire contenuti, e attribuire all'IA tutto il costo della sua memoria sarebbe un criterio incompleto. Per valutare un acquisto aggiuntivo contano invece frequenza d'uso, consumi e qualità dei risultati. Una macchina comprata solo per qualche domanda occasionale ha un'economia diversa da un computer già disponibile e utilizzato ogni giorno.

OpenAI offre anche modelli aperti

Il quadro è più sfumato della contrapposizione tra modelli chiusi e comunità aperte. L'azienda di Altman distribuisce anche gpt-oss, modelli a pesi aperti eseguibili su infrastrutture controllate da chi li utilizza. Per gpt-oss-20b indica la possibilità di funzionare con appena 16 GB di memoria. I pesi aperti consentono di scaricare ed eseguire il modello, mentre l'accesso ai materiali di addestramento è una questione distinta. La preferenza di Altman per la centralizzazione convive dunque con prodotti pensati anche per l'elaborazione locale.

Riuscire a caricare un modello è solo una parte dell'esperienza. Contano la velocità di risposta, la lunghezza dei documenti e la memoria necessaria a mantenere il contesto della conversazione. La quantizzazione riduce la precisione numerica dei parametri per contenere l'occupazione di memoria, con compromessi che dipendono dal modello e dal compito. Anche la compatibilità tra acceleratore e software può richiedere verifiche: Ollama, un programma diffuso per eseguire modelli sul proprio computer, documenta configurazioni e ottimizzazioni diverse a seconda dell'hardware. Per l'utente, l'autonomia comporta anche responsabilità operative.

Quando conviene tenere tutto in casa

Il vantaggio locale emerge quando il valore del controllo supera quello della capacità disponibile. Si pensi a uno studio professionale che vuole elaborare documenti riservati senza farli uscire dalle proprie macchine, oppure a uno sviluppatore che deve riprodurre un comportamento con una versione precisa del modello. L'esecuzione sul dispositivo rende possibili questi flussi, purché anche gli strumenti collegati rispettino il perimetro scelto. Ollama, per esempio, prevede una modalità esclusivamente locale che disabilita i modelli cloud e la ricerca sul web. Esiste infatti una differenza concreta tra installare un'applicazione sul PC e mantenere davvero l'elaborazione al suo interno.

Per un'organizzazione italiana entra in gioco anche la protezione dei dati. Il Regolamento generale sulla protezione dei dati (GDPR) continua a richiedere una base giuridica adeguata e una valutazione del trattamento anche quando l'IA gira internamente: la collocazione del computer risolve soltanto una parte del problema. Il Comitato europeo per la protezione dei dati precisa inoltre che l'anonimato di un modello va valutato caso per caso, e l'impiego di un modello scaricabile lascia aperte domande sulla sua provenienza e sui dati che potrebbe restituire.

Anche il cloud offre configurazioni meno rigide dell'invio indistinto di informazioni a un servizio remoto. OpenAI prevede opzioni europee di residenza dei dati e dell'inferenza per clienti e servizi idonei. Occorre distinguere il luogo in cui i dati sono archiviati da quello in cui avviene l'elaborazione, e verificare l'ambito delle garanzie contrattuali. Per un'impresa italiana si apre così una soluzione intermedia: infrastruttura condivisa, accompagnata da vincoli geografici e controlli organizzativi.

Costi e ambiente, i conti da fare

Sul piano economico, il confronto utile riguarda il costo del lavoro completato con qualità sufficiente. Nell'esecuzione locale entrano acquisto, elettricità, manutenzione e tempo di configurazione; nel servizio remoto, tariffe, limiti d'uso e integrazione. Un modello più piccolo può bastare per classificazioni ripetitive e diventare meno conveniente quando richiede molte correzioni. Sono variabili da misurare insieme: confrontare soltanto il prezzo della memoria con quello di un abbonamento rischia di lasciare fuori il costo operativo principale.

Anche l'argomento ambientale richiede prudenza. Le proiezioni aggiornate dell'Agenzia internazionale dell'energia indicano una crescita dei consumi elettrici dei data center da 485 terawattora nel 2025 a circa 950 nel 2030 (un terawattora equivale a mille miliardi di wattora). I valori riguardano l'intero settore, IA compresa. Una maggiore utilizzazione dell'hardware può migliorare l'efficienza, mentre l'aumento della domanda può far crescere il consumo complessivo: il tasso di occupazione della memoria, da solo, offre una lettura parziale della sostenibilità.

La strada ibrida di Apple

Un'impostazione ibrida è già presente nell'architettura di Apple Intelligence, che combina elaborazione sul dispositivo e Private Cloud Compute, il cloud riservato di Apple, per i compiti più impegnativi. Questa distribuzione sposta la decisione dal possesso dell'hardware alla selezione delle richieste.

Il confine tra dispositivo e cloud diventa la scelta più importante

Per chi sviluppa applicazioni diventa determinante stabilire quali dati possano uscire dal dispositivo, quale modello sia sufficiente e chi controlli l'instradamento delle richieste. La possibilità di scegliere quel confine resta una componente dell'autonomia dell'utente, anche quando gran parte del calcolo viene svolta altrove.