Piccole variazioni nel testo bastano a ingannare i filtri di ChatGPT

La promessa alla base della generazione di immagini in ChatGPT è semplice: creatività immediata, con filtri abbastanza solidi da impedire abusi. Quella promessa regge finché l'utente si comporta in modo prevedibile. Ma cosa succede quando qualcuno non chiede esplicitamente contenuti vietati, ma li suggerisce con formulazioni oblique, apparentemente innocue?

È la domanda al centro di una ricerca pubblicata da Mindgard, una società specializzata in sicurezza dei sistemi di intelligenza artificiale. I ricercatori hanno dimostrato che piccole variazioni nel testo di un prompt — sinonimi, riformulazioni, contesti narrativi — possono portare il modello a produrre immagini con contenuti violenti, nudità o scene che suggeriscono violenza sessuale, senza che la richiesta le menzioni mai in modo esplicito. OpenAI è intervenuta dopo la segnalazione per rafforzare i filtri, ma Mindgard sostiene che minimi aggiustamenti continuano a far emergere immagini problematiche.

Non un bug isolato, ma un inseguimento continuo

Il punto cruciale non è l'esistenza di una combinazione di parole «magica». Mindgard descrive un pattern: si parte da prompt nati per usi leggeri o umoristici, li si piega appena, e il modello scivola verso zone vietate. Il quadro che ne emerge non assomiglia a una falla da correggere una volta sola, ma a una dinamica di inseguimento — correzione, adattamento, nuovo aggiramento — che si ripete nel tempo.

Per capire perché accade, è utile guardare a come funziona la sicurezza in questi sistemi. Nei prodotti di consumo l'architettura è tipicamente stratificata: ci sono regole che definiscono cosa è vietato, classificatori che cercano segnali di rischio nel testo della richiesta, controlli sull'immagine prodotta, e poi meccanismi come blocchi e avvisi. OpenAI ha descritto esplicitamente questo approccio «a strati» nei suoi sistemi multimediali, affiancando controlli su richieste e output a strumenti per rendere tracciabile l'origine dei contenuti, come i metadati C2PA e i watermark — marchi digitali visibili o invisibili incorporati nelle immagini. La strategia è coerente: prevenire a monte quando possibile, limitare a valle quando la prevenzione non basta.

Quando l'intenzione si nasconde nel linguaggio

Il caso Mindgard mette in evidenza la fragilità di un punto specifico: i controlli sul linguaggio naturale faticano quando l'intenzione si maschera dietro formulazioni plausibili. Un filtro basato su classificazione cerca parole chiave, contesti, stili di descrizione. Se l'utente rimuove i segnali più evidenti e mantiene l'intenzione come allusione — magari chiedendo di «modificare» una foto in un certo modo — il sistema deve inferire cosa sta per accadere senza avere indicatori chiari. La differenza non è tra una richiesta vietata e una lecita: è tra una richiesta esplicita, facilmente bloccabile, e una implicita, molto più difficile da intercettare.

C'è poi un problema strutturale legato alla natura delle immagini stesse. A differenza del testo, il visivo non ha segnali univoci: la stessa scena può essere arte, documentazione, educazione sanitaria o materiale abusivo, a seconda del contesto. Per questo molti sistemi oscillano tra due estremi: permissivi, con rischio di abuso, oppure eccessivamente restrittivi, con il rischio di bloccare anche richieste legittime. Chi partecipa alle community di utenti lo racconta bene: quando i provider irrigidiscono i filtri dopo una segnalazione, spesso aumentano anche i rifiuti su richieste innocue — immagini generiche in stile horror, scene non violente interpretate come problematiche. Una patch può ridurre un abuso e al tempo stesso tagliare fuori usi creativi del tutto leciti.

Migliorare la qualità delle immagini generate significa anche abbassare la soglia per creare contenuti dannosi

Questa tensione cresce perché la qualità dei modelli visivi sta migliorando rapidamente. OpenAI ha aggiornato la sua pipeline di immagini in ChatGPT più volte negli ultimi mesi: a dicembre 2025 ha presentato una versione rinnovata di ChatGPT Images, e ad aprile 2026 ha pubblicato la documentazione di ChatGPT Images 2.0, descrivendo un modello con capacità più deliberative nella costruzione dell'immagine e una scheda di sicurezza dedicata con metriche interne su test e mitigazioni. Il miglioramento della fedeltà — volti, pose, editing più preciso — rende il prodotto più utile. Ma abbassa anche l'asticella: se l'editing diventa più potente, basta meno per trasformare una modifica innocua in una manipolazione abusiva.

Un precedente che riguarda tutta la categoria

Il lavoro di Mindgard non riguarda solo OpenAI: è una cartina di tornasole per tutti i sistemi di generazione visiva guidata da testo. Esiste un precedente tecnico ben noto agli specialisti del settore: il red-teaming — cioè i test di attacco simulato — dei filtri di Stable Diffusion, un altro popolare sistema di generazione immagini, mostrava come filtri progettati principalmente per bloccare contenuti sessuali potessero ignorare violenza e gore. Il dettaglio cambia da sistema a sistema, ma la lezione è stabile: quando la sicurezza viene aggiunta come strato separato rispetto al modello, la copertura tende a essere incompleta e non uniforme tra categorie di contenuto.

Il modo più utile per interpretare questa vicenda non è chiedersi se i filtri si possono aggirare — quasi sempre sì, almeno sporadicamente — ma con quali criteri si misura l'efficacia nel tempo. Nel mondo della sicurezza informatica tradizionale, questo tipo di ragionamento è normale: si definiscono obiettivi e tolleranze, si misurano incidenti e falsi positivi, si aggiornano processi e strumenti in modo continuo. Nel mondo dell'AI di consumo, questa mentalità è ancora in fase di assestamento. Framework come l'AI RMF 1.0 del NIST — l'ente statunitense per gli standard tecnologici — spingono verso un ciclo continuo: mappare contesti d'uso e rischi, misurarli, gestire incidenti e aggiornamenti in modo sistematico. Applicato a ChatGPT Images, questo significa che «abbiamo corretto il problema» è una risposta necessaria ma insufficiente. Le domande che contano sono altre: qual è la classe di attacchi coperta dalla correzione? Quanto dura prima che emerga un aggiramento equivalente? E chi verifica queste metriche — solo il produttore internamente, o anche valutatori indipendenti?

Sapere che un contenuto è generato dall'AI non impedisce che quel contenuto sia già stato prodotto

L'Europa alza le aspettative sulla trasparenza

C'è un secondo piano che in Europa sta per diventare molto concreto. La Commissione europea ha pubblicato un Codice di condotta finale su marcatura e etichettatura dei contenuti generati dall'AI, pensato per supportare gli obblighi di trasparenza dell'AI Act che entreranno in vigore il 2 agosto 2026. L'aspettativa pubblica si sposta: non solo «non generare contenuti abusivi», ma anche «rendere riconoscibile ciò che è sintetico o manipolato», con strumenti leggibili sia dagli utenti sia dai sistemi automatici di moderazione.

Provenienza e watermarking aiutano dopo: facilitano attribuzione, moderazione, rimozione. OpenAI ha investito su questi strumenti e in alcuni contesti hanno un effetto deterrente. Ma non impediscono, di per sé, che un modello produca un'immagine violenta o sessualizzata quando la richiesta riesce a passare sotto il radar. L'etichetta non è una barriera: è un cartello. E più si standardizzano i segnali di provenienza, più cresce la pressione perché i controlli a monte siano all'altezza.

Nel contesto italiano, il tema tocca direttamente milioni di utenti. ChatGPT è ormai un servizio diffuso tra creativi, professionisti e piccole imprese: il piano Plus è indicato da OpenAI a 20 € al mese. Quando un prodotto con questa diffusione incorpora generazione di immagini sempre più capace, la sicurezza smette di essere un problema per gli specialisti e diventa rilevante per scuole, redazioni, uffici marketing, e qualunque contesto in cui un'immagine generata automaticamente può diventare imbarazzante, dannosa o illegale.

Il ciclo che non si chiude mai

Per OpenAI, casi come quello descritto da Mindgard hanno un impatto che va oltre il singolo report. Ogni divulgazione pubblica alimenta una pratica che scala rapidamente: pattern di prompt condivisi online, tutorial, raccolte di richieste «oblique» riutilizzate. La risposta istintiva è irrigidire i filtri: bloccare più spesso, ampliare le categorie di rischio, introdurre più frizione. Ma questa scelta degrada l'esperienza per gli usi legittimi e spinge gli utenti verso alternative meno restrittive. Un approccio più strutturato — con valutazioni continue, metriche pubbliche e coinvolgimento sistematico di team di attacco esterni — alza la credibilità, ma aumenta costi e complessità.

Il ciclo correzione-aggiramento-correzione continuerà, perché è nella natura di questi sistemi. Non esistono regole perfette per un linguaggio che può esprimere la stessa cosa in mille modi, né per immagini che possono rappresentare la stessa scena con dettagli che ne cambiano completamente la categoria etica o legale. L'elemento davvero discriminante diventa la velocità di reazione e la capacità di dimostrare, nel tempo, che le correzioni non sono semplici risposte a prompt diventati virali, ma il risultato di un lavoro di ingegneria e governance robusto — capace di reggere anche quando la pressione si sposta altrove, e mentre l'Europa, dal 2 agosto 2026, alza le aspettative su trasparenza e tracciabilità dei contenuti sintetici.