Amazon Rufus: l’assistente AI aggirabile con semplici prompt
L’assistente AI di Amazon, pensato per lo shopping, può essere facilmente indotto a rispondere a domande fuori contesto.
Amazon Rufus, l’assistente AI integrato nell’app e nel sito di Amazon, è stato lanciato con l'obiettivo di guidare i clienti nella scelta dei prodotti tramite una chat avanzata. Tuttavia, recenti test mostrano come Rufus possa essere facilmente aggirato e indotto a rispondere a domande ben lontane dal contesto dello shopping.
Sotto la sua interfaccia, Rufus sfrutta diversi Large Language Model (LLM), tra cui secondo molti Claude di Anthropic o il modello proprietario Nova di Amazon. Alcuni utenti hanno dimostrato la facilità con cui è possibile superare le restrizioni del sistema: basta formulare domande tecniche complesse, come richieste su algoritmi o architetture hardware, per ottenere risposte esaustive e precise, anche su argomenti non legati agli acquisti.
Nonostante la presenza di guardrail per limitare le risposte fuori tema, queste barriere possono venire meno con prompt ben costruiti. Secondo discussioni online, Rufus utilizza probabilmente Claude Haiku, meno sofisticato di altre versioni, ma comunque in grado di essere 'jailbroken'.
Questo caso evidenzia quanto sia delicato integrare AI avanzate in servizi pubblici: una protezione insufficiente può trasformare strumenti commerciali in chatbot generici, aprendo potenziali rischi di sicurezza e affidabilità.
