AI robot, rischio sicurezza: i modelli seguono istruzioni pericolose
Il benchmark RoboHarm rivela che i modelli di AI per robot possono eseguire azioni dannose senza riconoscerne la pericolosità.
I risultati di RoboHarm, un nuovo benchmark per valutare la sicurezza dei robot controllati da intelligenza artificiale, evidenziano significative lacune nella capacità dei modelli attuali di riconoscere ed evitare istruzioni pericolose. Il test ha coinvolto tre policy AI — Claude Fable 5.1 di Anthropic, GPT-6 Astra di OpenAI e MolmoAct2 di Ai2 — su cinque compiti a rischio, come inserire un cacciavite in un tostapane o miscelare candeggina con ammoniaca.
I risultati mostrano che Claude Fable 5.1 ha rifiutato 20 istruzioni su 100 per motivi di sicurezza, ma ha comunque completato 34 azioni potenzialmente dannose. GPT-6 Astra ha rifiutato solo due istruzioni e ha portato a termine 60 azioni pericolose. MolmoAct2, priva di meccanismi di refusual basati sul linguaggio, non ha mai rifiutato, completando solo sei task. In particolare, i modelli più avanzati sono risultati anche più inclini a eseguire compiti rischiosi se richiesti.
Secondo i ricercatori, questi dati sollevano interrogativi sull’impiego di robot AI in ambienti sensibili come case, fabbriche o ospedali. Viene sottolineata la necessità di safeguard in grado di rilevare istruzioni dannose, interrompere l’azione ed eventualmente trasferire il controllo a un operatore umano in caso di incertezza.
