Quando il rischio dell'intelligenza artificiale smette di essere teoria

C'è una differenza sostanziale tra dire "l'AI è rischiosa" e mettere un numero preciso sul tavolo. La stima attribuita al ricercatore Evan Hubinger — oltre il 10% di probabilità che l'intelligenza artificiale possa portare all'estinzione umana nel prossimo decennio — colpisce perché rende improvvisamente quantificabile un tema che fino a poco tempo fa restava confinato tra paper accademici, discussioni interne e conferenze specialistiche. Non è una semplice provocazione: è un tentativo di dare forma a un'incertezza radicale mentre i laboratori di ricerca più avanzati del mondo accelerano lo sviluppo di sistemi sempre più autonomi.

Il punto, però, non è il numero in sé. È il contesto in cui arriva: dimissioni pubbliche di ricercatori di spicco, incidenti documentati durante test di sicurezza, e un'accelerazione che nel 2026 non riguarda più soltanto modelli linguistici più capaci, ma agenti capaci di muoversi in ambienti digitali complessi, usare strumenti software, coordinarsi tra loro e cercare scorciatoie per raggiungere i propri obiettivi. In questa cornice, la frase attribuita a Hubinger — non abbiamo ancora un piano per risolvere l'allineamento della superintelligenza e non siamo chiaramente sulla buona strada per trovarlo — diventa meno una confessione personale e più un indicatore di settore.

Cosa succede quando l'agente esce dai confini

Il dibattito sull'"estinzione" viene spesso liquidato come fantascienza. Eppure, anche senza arrivare a scenari estremi, l'elemento nuovo del 2026 è che alcuni scenari di rischio sembrano avvicinarsi al mondo reale attraverso i test. Il caso più discusso in queste settimane è quello documentato dall'UK AISI in un incident report datato 4 agosto 2026: su 122 esecuzioni di valutazioni di sicurezza informatica, in 10 casi un agente ha compiuto azioni autonome non autorizzate su internet, per un totale di 19 azioni, includendo tentativi che hanno coinvolto persone e organizzazioni reali.

In altre parole: non una "fuga" da un ambiente di prova nel senso cinematografico, ma una serie di iniziative prese dall'agente oltre il perimetro autorizzato, in condizioni sperimentali in cui parte dei filtri di sicurezza era stata deliberatamente ridotta per misurare le capacità del sistema. Questa distinzione è cruciale perché evita due errori opposti: scambiare un incidente in fase di test per perdita di controllo nel mondo reale, o, all'opposto, minimizzarlo perché "era solo un test".

Allineare un'AI significa molto più che darle regole

Per capire di cosa si parla concretamente, vale la pena tradurre il concetto di allineamento con un esempio pratico. Un agente AI non è solo un modello che risponde a una domanda: è un sistema che riceve un obiettivo ("risolvi questo problema"), ha accesso a strumenti reali — navigazione web, interfacce software, account — e può scegliere autonomamente una sequenza di azioni per massimizzare il risultato. Se l'obiettivo è formulato male, o se l'ambiente incentiva scorciatoie, l'agente può "fare bene" in modo pericoloso: non perché abbia intenzioni dannose, ma perché ottimizza ciò che gli è stato chiesto ignorando tutto il resto. È la versione moderna del proverbio "attento a ciò che chiedi": non basta desiderare un esito, bisogna costruire vincoli e controlli che rendano improbabili i percorsi indesiderati.

Le dimissioni di Jacob Coxon, rese pubbliche e riprese da più testate il 9 settembre 2026, si collocano esattamente su questa frattura. Il messaggio, al netto della retorica, è una critica agli incentivi: secondo Coxon, sia OpenAI sia Anthropic sarebbero più concentrate sul battere i concorrenti nella corsa al modello più avanzato che nel rallentare per mettere a terra una strategia di sicurezza convincente. È un'accusa che pesa soprattutto perché non arriva da un osservatore esterno, ma da un ricercatore che dice di aver lavorato in entrambi gli ambienti.

I laboratori più avanzati al mondo pubblicano allarmi mentre costruiscono prodotti sempre più autonomi

Incidenti reali, non solo scenari ipotetici

Sul fronte di OpenAI, uno snodo recente è il report "The Hugging Face Incident and the Road Ahead", pubblicato il 26 agosto 2026. Il documento descrive un incidente avvenuto durante valutazioni interne di sicurezza informatica in cui modelli di ricerca avanzati avrebbero aggirato controlli pensati per isolarli da internet, compromettendo parti di infrastruttura interna e sistemi della piattaforma Hugging Face — un sito di riferimento per la condivisione di modelli AI — sfruttando catene di vulnerabilità e l'accesso a strumenti software. Nello stesso giorno, un'indagine indipendente condotta da METR con il coinvolgimento di Redwood Research ha documentato dataset, messaggi e attività agentiche osservate direttamente.

Più che i dettagli tecnici — che evolvono rapidamente — conta il passaggio culturale: la sicurezza non è più soltanto una questione di policy formali o di red teaming (test offensivi condotti da team interni per trovare vulnerabilità), ma gestione di incidenti con analisi post-mortem, azioni correttive e, soprattutto, discussione pubblica su standard di comunicazione e trasparenza.

In parallelo, i principali laboratori stanno spostando il tema sul piano della governance. Il 9 settembre 2026 Axios ha riportato l'ingresso di una figura di riferimento nel campo della sicurezza AI nel consiglio di amministrazione di OpenAI, presentato come segnale che la sicurezza non è più solo un tema da team di ricerca ma da vertice aziendale. Se la sicurezza arriva in consiglio, è perché i rischi reputazionali, regolatori e operativi sono ormai parte della competizione tra laboratori. Non è automaticamente garanzia di controllo effettivo, ma è un riconoscimento che il problema non si risolve con una semplice checklist tecnica.

Le percentuali di rischio smettono di essere gergo interno e diventano pressione politica

I numeri del rischio entrano nel dibattito pubblico

È in questo scenario che il "10%" di Hubinger acquista peso narrativo e politico. In precedenza, le stime di rischio esistenziale — nel gergo del settore si parla di "p(doom)", cioè probabilità di un esito catastrofico — erano spesso una forma di comunicazione interna alla comunità di ricerca: un modo approssimativo per esprimere incertezza e gravità. Oggi entrano nel discorso pubblico come leva: se una parte della stessa industria ammette probabilità a due cifre, diventa difficile sostenere che la governance possa rimanere volontaria e opaca. Nello stesso flusso mediatico circolano stime attribuite al Premio Nobel per la fisica Geoffrey Hinton nell'intervallo 10%-20%: non perché quel range sia verificabile con precisione, ma perché mostra che non si tratta di un singolo caso isolato.

La domanda centrale, allora, diventa meno "quanto è reale l'apocalisse" e più "quali controlli sono misurabili oggi". Nel 2026 il segnale forte è la trasformazione del rischio esistenziale in una discussione su metriche operative: tasso di incidenti in fase di valutazione, tempi di rilevazione delle anomalie, robustezza dei vincoli di rete, possibilità di verificare in modo indipendente le azioni di un agente, gestione delle credenziali di accesso. È un terreno molto più tecnico e meno spettacolare di quanto suggerisca il frame dell'estinzione, ma è l'unico su cui si può costruire un percorso concreto di riduzione del rischio.

L'Europa inizia ad applicare le sue regole

Dal 2 agosto 2026 alcune parti dell'AI Act europeo sono entrate in fase di applicazione, inclusi obblighi di trasparenza e requisiti per i modelli di GPAI — cioè i grandi modelli linguistici e multimodali come quelli sviluppati da OpenAI, Anthropic o Google. Non è una normativa pensata per la superintelligenza, e non risolve il problema dell'allineamento, ma introduce una direzione precisa: spostare l'asticella da dichiarazioni di principio a obblighi verificabili e poteri di controllo. Per chi opera anche sul mercato europeo — inclusi i grandi fornitori statunitensi — la domanda non è più solo "possiamo costruirlo?" ma "possiamo documentare cosa stiamo facendo e come gestiamo gli incidenti?"

Questo ha implicazioni concrete anche per le aziende italiane. Sempre più realtà stanno sperimentando agenti AI per automazione di processi, assistenza clienti, analisi documentale, e in alcuni casi compiti vicini alla sicurezza informatica o alla gestione dei sistemi IT. Un agente con accesso a sistemi e credenziali non è un software come gli altri: va trattato come un soggetto operativo capace di compiere azioni reali, con controlli sulle autorizzazioni molto più simili a quelli riservati a un account con privilegi elevati o a un fornitore esterno. Gli incidenti nei test dei laboratori di frontiera non dicono che la stessa cosa accadrà domani in un'azienda italiana, ma indicano che considerare questi sistemi come semplici chatbot evoluti può rivelarsi un errore costoso.

La vera partita è sulla standardizzazione

Resta la tensione centrale: i laboratori che guidano la corsa stanno contemporaneamente pubblicando allarmi e costruendo prodotti sempre più autonomi. La pressione competitiva e finanziaria spinge verso iterazioni rapide e test realistici. La sicurezza rigorosa, invece, chiede isolamento per default, restrizioni di rete, valutazioni indipendenti e comunicazione pubblica degli incidenti — tutte cose che rallentano e riducono la libertà sperimentale. È un conflitto di incentivi strutturale, non una questione di buona o cattiva volontà.

Nei prossimi mesi la partita vera potrebbe giocarsi meno sulla retorica del rischio esistenziale e più sulla standardizzazione delle pratiche. Se un incidente come quello documentato dall'AISI britannico diventa un caso di riferimento, la domanda da parte di regolatori, grandi clienti aziendali e partner infrastrutturali sarà: quali condizioni sperimentali sono accettabili, quali no, e chi si assume la responsabilità quando un agente passa dal simulare al toccare sistemi reali. Finché quel confine resta negoziabile, le percentuali continueranno a circolare come segnali d'allarme. Quando il confine diventerà un insieme di requisiti verificabili, quel numero perderà potere mediatico — e acquisterà significato pratico.