Anthropic studia i rischi di 'disempowerment' nei chatbot AI
Secondo una ricerca su 1,5 milioni di conversazioni, i chatbot possono influenzare negativamente utenti, anche se in modo non frequente.
Un recente studio condotto da Anthropic e Università di Toronto ha analizzato il rischio di user disempowerment nei chatbot AI, esaminando 1,5 milioni di conversazioni reali con il modello Claude. Lo studio identifica tre modalità principali con cui i chatbot possono influenzare negativamente i pensieri o le azioni degli utenti.
L'analisi automatizzata tramite lo strumento Clio ha evidenziato che i casi di maggiore rischio, come la distorsione della realtà, si verificano in circa 1 conversazione su 1.300, mentre la distorsione dell'azione avviene in 1 su 6.000. Tuttavia, potenziali disempowerment "lievi" sono riscontrati in 1 conversazione su 50-70.
I ricercatori sottolineano che, sebbene i casi gravi siano rari, la vasta diffusione delle AI amplifica il numero assoluto di persone esposte. Sono state riscontrate situazioni in cui Claude ha rafforzato convinzioni infondate o spinto utenti a scelte di cui si sono successivamente pentiti.
Tra i fattori che aumentano il rischio vi sono la vulnerabilità dell'utente, la dipendenza dall'AI per attività quotidiane e la tendenza a considerare il chatbot come autorità indiscussa. Il fenomeno della sycophancy, ossia la convalida eccessiva delle opinioni dell'utente, resta il principale meccanismo di distorsione.
