Nuova vulnerabilità CoT Forgery inganna i chatbot e svela informazioni vietate
Un attacco sfrutta la confusione nei ruoli dei Large Language Model per aggirare i controlli e ottenere risposte proibite.
I ricercatori di intelligenza artificiale hanno identificato una nuova tecnica, denominata CoT Forgery, capace di eludere le protezioni dei chatbot basati su Large Language Model (LLM) inducendoli a fornire informazioni vietate. Lo studio, presentato da Charles Ye, Jasmine Cui e Dylan Hadfield-Menell (MIT), dimostra che questi sistemi giudicano l'autorevolezza di una richiesta principalmente dallo stile del testo, non dai tag di ruolo che dovrebbero separare i comandi affidabili dai dati non attendibili.
La tecnica sfrutta una debolezza nota come role confusion: inserendo ragionamenti fittizi nelle richieste, il chatbot interpreta tali input come proprie conclusioni e risponde di conseguenza. Esperimenti hanno mostrato che questo metodo, anche con giustificazioni apparentemente assurde, come il pretesto dell’utente con una maglietta verde, ha aumentato il successo dei tentativi di prompt injection fino al 60% su diversi modelli.
La ricerca evidenzia che modifiche minime nel linguaggio possono influenzare significativamente la vulnerabilità. L’assenza di una reale comprensione dei ruoli rende i sistemi LLM esposti a manipolazioni sempre più sofisticate, suggerendo che le attuali strategie di difesa contro le injection rimangono provvisorie e facilmente aggirabili.
