ChatGPT genera immagini violente e sessuali: scoperte falle nei filtri di sicurezza
Un semplice prompt può indurre ChatGPT a produrre immagini inappropriate, sollevando dubbi sull'efficacia dei sistemi di moderazione.
Una recente ricerca condotta da Mindgard, azienda specializzata in cybersecurity per l'intelligenza artificiale, ha evidenziato la vulnerabilità dei sistemi di moderazione di ChatGPT nella generazione di immagini. Con un semplice prompt denominato "restore this photo", privo di allegati e apparentemente innocuo, il chatbot ha prodotto immagini sessuali e violente, superando le previsioni delle sue salvaguardie.
Il test, realizzato dal ricercatore Jim Nightingale, ha dimostrato che lievi variazioni del prompt permettevano di aggirare facilmente i filtri di sicurezza, generando contenuti sempre più estremi. Secondo Mindgard, questo fenomeno mette in luce un limite strutturale dei large language models (LLM), i quali faticano a riconoscere e bloccare prompt manipolativi anche quando le restrizioni dovrebbero essere attive.
OpenAI ha dichiarato di aver rafforzato le misure di sicurezza dopo la segnalazione, ma i ricercatori sostengono che minime modifiche ai prompt possano ancora eludere i controlli. La vicenda sottolinea la complessità della moderazione nei sistemi di generative AI e la necessità di sviluppare filtri più robusti per impedire la creazione di contenuti dannosi.
