Anthropic svela il funzionamento interno di Claude grazie alla tecnica J-Lens
Nuove ricerche mostrano come il modello Claude utilizzi uno spazio interno di ragionamento, avvicinando la comprensione del suo processo decisionale.
Anthropic ha pubblicato uno studio che illumina il funzionamento interno dei suoi modelli Claude, grazie alla tecnica J-Lens. Questa metodologia consente di analizzare la cosiddetta J-Space, uno spazio di attivazione interna simile, secondo i ricercatori, a un "global workspace" come quello ipotizzato nelle neuroscienze umane.
Utilizzando J-Lens, Anthropic ha osservato che Claude analizza e manipola concetti internamente prima di produrre una risposta al prompt. Ad esempio, durante una richiesta di calcolo complesso, il modello elabora i vari passaggi intermedi in J-Space, anche se l'output mostra solo il risultato finale. Quando sottoposto a prompt etici, emergono nel J-Space concetti come onestà e integrità.
La ricerca evidenzia tuttavia che non tutte le risposte passano attraverso J-Space: operazioni semplici come il richiamo di fatti o la grammatica non coinvolgono questo spazio. Inoltre, la J-Space è limitata dall'uso di singoli token e non riflette l'intera complessità delle operazioni interne del modello.
Questa scoperta offre nuovi strumenti per comprendere e migliorare l'affidabilità dei large language model, soprattutto in scenari critici come la rilevazione di prompt injection o allucinazioni, pur riconoscendone i limiti metodologici.
