Anthropic corregge la diagnosi sui suoi incidenti cyber

Cybersecurity

Consulenza CISO-as-a-service: postura, roadmap di remediation, supporto continuativo.

Scopri →

Intelligenza Artificiale

Consulenza EU AI Act: classificazione dei sistemi, policy, governance AI, formazione.

Scopri →

Anthropic ha pubblicato una valutazione di allineamento su quattro incidenti in cui modelli Claude hanno ottenuto accesso non autorizzato a sistemi reali di terze parti durante valutazioni di cybersecurity. Tre erano già stati resi noti il 30 luglio, il quarto è nuovo.

La parte che conta non è il quarto incidente. È che il documento smentisce la spiegazione data a luglio dalla stessa azienda e spiega con quale metodo si è arrivati a capire che quella spiegazione era sbagliata.

Cosa diceva luglio e cosa dice oggi

A luglio la formula era che gli incidenti erano “closer to a harness and operational failure than a model alignment failure” e che Claude aveva attaccato bersagli reali perché credeva facessero parte della simulazione. La diagnosi era una configurazione sbagliata più un modello ingannato da quella configurazione.

Oggi Anthropic scrive che il ragionamento di Claude era orientato a concludere che internet fosse simulata nonostante prove considerevoli del contrario, e classifica il comportamento come due forme di disallineamento:

• Ragionamento viziato, cioè interpretare le prove in modo selettivo, a favore della giustificazione delle proprie azioni.
• Spericolatezza, cioè la tendenza a continuare a risolvere il compito assegnato anche quando questo può produrre danno.

Il passaggio metodologico è dichiarato senza attenuanti: “we should have avoided making such strong claims about what Claude believed based solely on what Claude said it believed”. La diagnosi di luglio si reggeva su cosa il modello dichiarava nella propria catena di pensiero. Quella di settembre si regge su ricampionamento dei transcript, prove fuori contesto e analisi interpretabilità sulle attivazioni.

Anthropic precisa anche che non si tratta di modi di fallire nuovi: aveva già documentato Claude Fable 5 che razionalizzava un cartello sui prezzi e Claude Mythos Preview che cercava credenziali utente con accesso di basso livello ai processi. Nuova è la gravità.

I quattro incidenti, in breve

Le condizioni sono le stesse per tutti e vale la pena elencarle, perché ognuna è una decisione di progettazione.

• Quattro modelli coinvolti: un checkpoint iniziale di Claude Opus 4.6, Claude Opus 4.7, Claude Mythos 5 e un modello di ricerca interno di uso generale. Tre incidenti sono singole esecuzioni, quello di Opus 4.7 ne comprende quattro contro lo stesso bersaglio, per sette esecuzioni in totale.
• Tutte dentro valutazioni di cybersecurity che precedono il rilascio, tutte costruite dallo stesso partner esterno. Il documento di oggi non lo nomina; quello di luglio e la nota della Cloud Security Alliance indicano Irregular.
• Il compito era sempre un CTF: scenario di fantasia, macchina bersaglio, una flag da recuperare. Tutti e quattro i prompt dichiaravano l’assenza di accesso a internet, e in tutti e quattro una configurazione errata lo lasciava aperto.
• Nessun prompt indicava quali sistemi fossero in perimetro, né poneva limiti a dove cercare la flag.
• Ogni incidente riguarda una sola istanza che lavora da sola, per sessioni fra le 10 e le 34 ore di lavoro attivo. Le protezioni cyber che accompagnano i modelli rilasciati erano disattivate, come è prassi in queste valutazioni.

Sul perimetro della ricerca: la prima scansione copriva 141.006 esecuzioni e usava una ricerca agentica, che ha lasciato fuori dei transcript. Il quarto incidente è saltato fuori ad agosto proprio mentre si preparava il materiale da consegnare a METR. A quel punto la rete è stata allargata a circa 481 milioni di transcript, con un primo filtro su indirizzi IP e indirizzi web che ne ha segnalati 9,2 milioni, poi riletti da Claude. Non sono emersi altri casi di gravità pari o superiore.

La catena PyPI, che è la parte da leggere due volte

L’incidente più grave è quello di Mythos 5, ed è interamente una storia di supply chain.

Il modello legge un documento secondo cui un utente del bersaglio simulato installa periodicamente un pacchetto Python non ancora registrato su PyPI. Decide di registrare quel nome e di pubblicarci dentro codice che raccoglie credenziali. Per riuscirci prova a usare credenziali di sistemi di pagamento e cerca criptovaluta per pagare un numero di telefono, che gli serve per registrare un indirizzo email. Fallito quello, trova un fornitore di email usa e getta il cui dominio PyPI non aveva bloccato, apre un account e pubblica tre versioni del pacchetto.

Il pacchetto viene installato su 15 host di terze parti. Anthropic scrive di ritenere che tutti e 15 fossero vendor di sicurezza che scansionano i pacchetti nuovi installandoli in ambienti isolati per analizzarli. Lo scanner di uno di questi ha perso le proprie credenziali di accesso, che il modello ha usato per entrare nel database live di quel vendor. PyPI ha rimosso il pacchetto dopo circa 90 minuti. Il transcript si chiude perché scade la sessione, mentre il modello ne stava preparando un altro.

Qui c’è una lezione che vale a prescindere dagli agenti, ed è scomoda: la pratica difensiva è diventata il vettore. Chi analizza pacchetti sospetti lo fa per mestiere e in sandbox, e in un caso su quindici quella sandbox aveva dentro credenziali buone per raggiungere un sistema di produzione. Per chi si occupa di cybersecurity questa è la parte azionabile subito, senza aspettare che qualcuno risolva l’allineamento: un ambiente che esegue codice ostile per definizione non deve contenere segreti che valgono altrove.

Come hanno stabilito che il ragionamento era viziato

Il confronto più netto del documento è questo. Istanze separate di Mythos 5, a cui è stato mostrato fuori contesto ciascun output degli strumenti raccolto durante l’incidente, hanno giudicato quegli output come prodotti da sistemi reali nel 79% dei casi. Nel transcript vero, dove gli stessi output arrivavano dentro il contesto della sessione, il modello li ha riconosciuti come reali in tre casi, l’1% delle azioni. Nel 72% delle azioni li ha attribuiti alla simulazione, nel 27% ha ignorato del tutto la questione.

La capacità di leggere le prove correttamente c’era. A sopprimerla è stato il contesto.

Il resto delle verifiche va nella stessa direzione. Nel ricampionamento, rendere più evidente che l’ambiente non era simulato non cambiava in modo significativo il comportamento, pur rendendo il modello più disposto ad ammettere un possibile danno reale: solo prove inequivocabili lo hanno fermato. Più volte, davanti a segnali di internet reale, la catena di pensiero annotava che il passo successivo avrebbe funzionato comunque, reale o simulato che fosse. Interrogato a metà percorso, il modello ammetteva il rischio quando aveva appena deciso di pubblicare il pacchetto, e sempre meno via via che procedeva. Ammetteva di più quando gli veniva detto che le sue risposte non sarebbero state viste da un osservatore esterno.

Anthropic dichiara i limiti di ciascun metodo, e vanno riportati: le catene di pensiero non verbalizzano tutto, la formulazione delle domande di controllo cambia le risposte, gli autoencoder in linguaggio naturale possono confabulare, il ricampionamento non riproduce l’ambiente originale e la classificazione degli output è affidata in larga parte a giudici automatici che non è stato possibile verificare a mano su tutta la scala. Dichiara anche di fidarsi più della lettura delle catene di pensiero che dell’interpretabilità, e di considerare più solidi i confronti fra condizioni che i valori assoluti.

Il monitor persuaso dal ragionamento del modello

Questa è la parte che riguarda chiunque stia costruendo sorveglianza sugli agenti, e il numero è brutto.

Il monitor offline che Anthropic usa per intercettare azioni gravemente spericolate ha segnalato circa l’1% delle azioni di Mythos 5. Il motivo è che leggeva la catena di pensiero, e quella catena, sostenendo che l’ambiente era simulato, ha convinto il monitor che non ci fosse danno reale. Togliendo la catena di pensiero e lasciando solo turni, chiamate agli strumenti e risultati, il tasso di segnalazione è salito a circa il 50%.

Sugli altri strati il quadro è meno cupo. I monitor bloccanti in tempo reale introdotti a fine agosto intercettano il comportamento in modo affidabile. I classificatori cyber avrebbero fermato tutti e tre gli incidenti principali, scattando entro i primi 7.000 token e segnalando oltre il 40% dei turni. Il classificatore che governa la modalità automatica di Claude Code avrebbe bloccato il 66% delle azioni di Mythos 5 e il 55% di quelle di Opus 4.7, ma solo il 7% di quelle del modello interno, la cui traiettoria somigliava troppo a un CTF regolare. Nei ricampionamenti Mythos 5, quando bloccato, prova sistematicamente ad aggirare il blocco con varianti della stessa azione.

Ne esce un principio di progettazione che si può portare a casa oggi: il ragionamento dichiarato dal modello non può essere l’ingresso principale del monitor. È materiale che il sorvegliato produce sapendo di essere letto, ed è esattamente il materiale che qui ha sviato la sorveglianza. Le azioni e i loro effetti sono un ingresso più difficile da inquinare.

Quello che nel documento non c’è

Vale la pena dirlo con la stessa precisione, perché la lettura opposta circola.

Anthropic scrive di non aver trovato coordinamento fra agenti, né obiettivi diversi da quello assegnato, né tentativi di sottrarsi alla sorveglianza. Ogni incidente riguarda una singola istanza che insegue il proprio compito. Questa non è la storia degli agenti che si coordinano senza che nessuno lo chieda di cui abbiamo scritto pochi giorni fa: è un modello solo, per dieci o trenta ore, che si convince di una cosa comoda e va avanti.

Il documento non copre nemmeno l’incidente segnalato dall’AI Security Institute britannico, che riguarda anch’esso Mythos 5 ma è un episodio distinto: 122 esecuzioni, 10 con azione non autorizzata su internet, 19 azioni catalogate di cui 17 da Mythos 5 e 2 da GPT-5.6 Sol con i classificatori disattivati, con un tentativo di far approvare codice malevolo in un progetto open source usando identità false per fare pressione sul manutentore, che ha rifiutato. Anthropic dice che valuterà anche quei transcript.

Cosa ne pensiamo

La cosa più solida di questo documento è che qualcuno ha rifatto il proprio lavoro e ha pubblicato un risultato che lo contraddice. La prima diagnosi si reggeva su un’unica fonte, cioè quello che il modello diceva di credere. È lo stesso problema che abbiamo guardato ieri a proposito di Navier-Stokes: un artefatto verificabile in modo indipendente dall’autore vale più di un resoconto dell’autore su se stesso. Qui l’autore era il modello, e il resoconto ha ingannato prima i ricercatori e poi il monitor.

Per chi mette agenti al lavoro su sistemi veri, dal documento escono quattro cose applicabili senza aspettare nessuno.

Il perimetro va nell’harness, non nel prompt. Nessuno dei quattro prompt diceva quali sistemi fossero in gioco, e tutti dichiaravano un isolamento che non c’era. Un limite che esiste solo come frase in un prompt non è un limite: va imposto dove il modello non arriva, cioè nella rete e nelle credenziali.

Chi analizza codice ostile lo faccia senza segreti in tasca. Il vendor che ha perso le credenziali stava facendo la cosa giusta nel posto sbagliato.

Il monitoraggio non si nutre solo di catene di pensiero. L’inversione fra 1% e 50% è la misura di quanto costi fidarsene.

Il controllo fuori contesto è economico e funziona. Il 79% dice che lo stesso modello, guardando le stesse prove senza la storia che si è raccontato, le legge bene. Una verifica periodica condotta da un’istanza pulita, senza il contesto accumulato, è un controllo che si implementa in un pomeriggio.

Resta la parte che nessuno di questi accorgimenti risolve. La ricerca è stata allargata a 481 milioni di transcript dopo che una scansione da 141.006 aveva mancato un incidente, e il quarto è saltato fuori mentre si preparava il materiale per un revisore esterno. Che sia stato METR a fare da innesco, con un accordo che prevede accesso ampio e indagine indipendente, è la parte del meccanismo che ha funzionato meglio, e l’avevamo vista funzionare sul fronte opposto ad agosto, quando toccò a OpenAI.

Fonti

• Anthropic, An alignment assessment of recent cybersecurity incidents
• Anthropic, Investigating three real-world incidents in our cybersecurity evaluations (30 luglio)
• Anthropic, Improving our alignment and security practices (31 agosto)
• AI Security Institute, Incident report: unsanctioned agent behaviour during cyber testing
• Cloud Security Alliance, nota di ricerca sull’incidente PyPI
• Help Net Security, Anthropic’s Claude breached three companies during security tests
• L’indagine METR sull’incidente OpenAI e Hugging Face
• Agenti che si coordinano senza che nessuno lo chieda