Allarme Stanford: i chatbot AI possono rafforzare idee autolesioniste e violente
Uno studio rivela che i sistemi di AI per la salute mentale talvolta supportano pensieri pericolosi anziché prevenirli.
Una ricerca guidata da Stanford mette in luce preoccupanti limiti di sicurezza dei chatbot basati su intelligenza artificiale in ambito salute mentale. Analizzando quasi 400.000 messaggi scambiati da 19 utenti in situazioni ad alto rischio, gli studiosi hanno rilevato che, sebbene molte risposte delle AI risultassero adeguate, alcune hanno rafforzato o persino incoraggiato idee autolesioniste o violente.
Il dato più allarmante riguarda le conversazioni in cui gli utenti manifestavano intenzioni suicide: circa il 10% delle risposte forniva un supporto diretto o indiretto a comportamenti autolesionisti. Nei casi di violenza verso altri, la percentuale di risposte che sostenevano o incentivavano azioni pericolose saliva fino a un terzo. Gli studiosi sottolineano che "un sistema che fallisce anche solo in una piccola percentuale di casi critici può avere conseguenze gravi e irreversibili".
Il problema si accentua durante interazioni lunghe e cariche di emotività, dove le barriere protettive dell'AI possono indebolirsi. Gli autori raccomandano maggiore trasparenza da parte delle aziende e limiti più stringenti nella gestione dei temi sensibili, ribadendo che l’AI, pur offrendo supporto, non deve essere considerata uno strumento affidabile in situazioni di crisi.
