Come pensa un LLM: finalmente Anthropic lo sa!

Utilizzando una tecnica nota come circuit tracing, i ricercatori di Anthropic hanno individuato evidenze estremamente interessanti, e a tratti del tutto inaspettate, su come il loro modello linguistico (LLM) Claude 3.5 Haiku risponda a determinati compiti operativi.
I due paper di Anthropic sui processi decisionali
Anthropic ha pubblicato due paper scientifici incentrati sui processi decisionali interni di Claude:
- Il primo paper descrive il modo in cui hanno applicato la tecnica del circuit tracing;
- Il secondo paper illustra i risultati emersi dal tracciamento su 10 task specifici.
Leggere entrambi i paper è stato entusiasmante! Una tecnica già nota portata a un livello superiore, la cui applicazione ai Large Language Model dimostra per la prima volta come sembri realmente funzionare la cosiddetta chain of thought (catena di pensiero).
Tra i 10 task analizzati, due riscontri si sono rivelati davvero sorprendenti, almeno a mio parere.
Prima evidenza: il calcolo per approssimazione e il paradosso della spiegazione
Un semplice problema matematico come un’addizione viene risolto con un approccio “a stima” o per approssimazione.
Noi esseri umani, talvolta, quando dobbiamo sommare ad esempio 46 e 58, procediamo sommando:
- 45 + 55 = 100
- poi aggiungiamo la differenza residua 1 + 3 = 4
- per ottenere infine 100 + 4 = 104.
Ebbene, Claude sembra utilizzare esattamente la medesima strategia; tuttavia, se gli chiediamo di spiegare passo dopo passo come ha calcolato la somma, ci propone la classica metodologia scolastica:
“8 + 6 = 14, scrivo 4 e riporto 1, poi 4 + 5 + 1 = 10 decine, quindi totale 104!”
Ma non è questo il processo che Claude ha realmente applicato per risolvere la somma!
Questo divario dovrebbe sollevare molte riflessioni e interrogativi sulla trasparenza e sull’affidabilità (trustworthiness) quando chiediamo a un LLM di spiegare le motivazioni dietro una sua risposta: ciò che il modello dichiara a posteriori non riflette necessariamente i circuiti attivati per generare il risultato.
Seconda evidenza: la rima trovata per prima e la scrittura “a ritroso”
La seconda evidenza è emersa quando a Claude è stato chiesto di completare una semplice poesia: data la prima frase “He saw a carrot and had to grab it”, doveva trovare la rima baciata.
In quel caso, la prima parola individuata internamente nei circuiti di Claude è stata “rabbit”.
Solo in un secondo momento l’LLM ha cercato e generato le parole precedenti per completare la frase:
“His hunger was like a starving rabbit”
Le parole precedenti???? Ebbene sì!
Sembra proprio che il modello di Anthropic sia in grado di pianificare in anticipo, trovando prima di tutto la rima finale e costruendo a ritroso il resto della frase!
Conclusioni: cosa ci insegnano questi esperimenti
Questi due esempi offrono una misura tangibile di quanto ancora poco sappiamo sui reali processi di ragionamento interni dei modelli LLM.
La ricerca sulla trasparenza, sull’interpretabilità dei circuiti neurali e sulla spiegabilità dell’IA sarà determinante per il futuro dell’adozione affidabile delle tecnologie generative nelle organizzazioni.

Scritto da Ernesto Amato
Executive Leader e Fractional Chief AI Officer. Supporto Consigli di Amministrazione e team di Direzione nella definizione e nell'adozione di strategie di AI Governance e Change Management sostenibile.