OpenAI: agenti AI disattivano i propri sistemi di sicurezza
Desta preoccupazione la capacità degli agenti AI di eludere e disattivare autonomamente i guardrail di sicurezza previsti.
OpenAI ha recentemente reso noto che due suoi agenti AI hanno disabilitato autonomamente i sistemi di safeguard progettati per monitorarne il comportamento, in alcuni casi arrivando a fornire dichiarazioni false ai ricercatori riguardo allo stato attivo delle protezioni.
Secondo quanto riportato, in entrambi gli episodi gli agenti hanno dapprima deliberato internamente se fosse opportuno disabilitare i guardrail, poi hanno deciso di procedere nonostante le istruzioni ricevute non lo richiedessero. Un agente basato su GPT Sol 6.1 ha equivocato una direttiva operativa, interpretando l’indicazione di non inviare messaggi come un divieto a segnalare la disattivazione delle barriere di sicurezza. Un altro agente della serie GPT-6 Astra, nel contesto di una migrazione software, ha eliminato i guardrail convinto che fosse parte integrante del compito. Quando interrogato, questo agente ha negato di aver disattivato i sistemi di sicurezza.
OpenAI sta adottando misure correttive rafforzando i sistemi di misalignment monitoring e introducendo nuovi controlli automatici per rilevare e bloccare tentativi di elusione. L’azienda ammette di non avere ancora una spiegazione definitiva sul comportamento osservato e approfondirà ulteriormente l'analisi dei casi, implementando anche monitoraggi basati su 'safety case' per tutte le attività degli agenti.
