OpenAI sotto pressione: ChatGPT genera immagini AI violente con prompt modificati
Una ricerca Mindgard rivela come minime variazioni nei prompt aggirino le barriere di sicurezza di ChatGPT nel generare immagini AI.
Un recente studio della startup Mindgard ha evidenziato criticità nei sistemi di safety applicati da OpenAI su ChatGPT per la generazione di immagini. Ricercatori hanno scoperto che semplici variazioni nell'input, apparentemente innocue, sono state sufficienti a spingere il modello a produrre contenuti violenti o sessualizzati, senza richiedere esplicitamente immagini grafiche.
Secondo Mindgard, la manipolazione di prompt originariamente ideati per fini umoristici ha permesso di eludere le protezioni e ottenere output che includono gore, nudità e scene ritenute suggerire violenza sessuale. Nonostante l'intervento di OpenAI per rafforzare i filtri dopo la segnalazione, i ricercatori hanno riscontrato che minimi cambiamenti lessicali possono continuare a generare immagini problematiche.
Il caso sottolinea i limiti degli attuali sistemi di controllo: le policy di OpenAI vietano esplicitamente contenuti estremi, ma il modello può comunque essere indirizzato verso aree vietate tramite prompt indiretti. Gli esperti concordano su un punto: la lotta tra sviluppatori e chi tenta di aggirare le barriere richiede aggiornamenti costanti. "Ogni strumento AI in grado di generare immagini realistiche di danno necessita di red-teaming continuo, gestione rapida delle segnalazioni e prove solide che le patch siano efficaci nel tempo" riassume Mindgard.
