Sommario
- Il claim, per come è formulato
- Il 99,9% su ARC-AGI-3 e il 63% di chi lo misura
- I numeri che stanno nelle stesse tabelle
- Dove il salto si misura davvero: il cyber
- Il benchmark costruito contro la contaminazione
- La valutazione nata dall’incidente Hugging Face
- Il numero che peggiora
- Cosa si può fare con la versione distribuita
- Prezzi e disponibilità
- Cosa ne pensiamo
- Fonti
Cybersecurity
Consulenza CISO-as-a-service: postura, roadmap di remediation, supporto continuativo.
Scopri →
Servizi & Sistemi Linux
Domini, hosting, PEC, infrastruttura email, servizi di rete e sistemi Linux. Assistenza e gestione dell'infrastruttura Open Source.
Scopri →
OpenAI ha rilasciato GPT-6 Astra, in distribuzione graduale a partire da un gruppo ristretto di organizzazioni e poi su ChatGPT, API, Microsoft Azure e AWS Bedrock. Il presidente Greg Brockman ha commentato il rilascio con tre parole, “arc-agi-3 is now saturated”. Nelle ore successive la sua posizione è stata ripresa dalla stampa come l’annuncio che sarebbe cominciata l’era in cui l’AI è ampiamente capace quanto gli esseri umani.
È una tesi verificabile, perché poggia su numeri pubblicati. Conviene farlo.
È il seguito diretto di una storia che seguiamo da luglio. Astra è la famiglia di modelli che nel rapporto tecnico di OpenAI compariva come “il nostro prossimo modello”. Una delle valutazioni presentate oggi nasce proprio dall’incidente Hugging Face.
Il claim, per come è formulato
L’annuncio si apre presentando Astra come “the world’s most intelligent and aligned model” e mette in fila una serie di benchmark descritti come saturati: ExploitBench al 100%, ARC-AGI-3 al 99,9%, FrontierMath Tier 4 al 98% nel testo e al 97,6% nella tabella allegata. Il post rimanda inoltre a risultati su problemi aperti di matematica, compresi due nuovi risultati sugli intervalli fra numeri primi.
È una formulazione che invita a leggerla come un cambio di epoca. Vale la pena verificarla sulle stesse tabelle che l’accompagnano.
Il 99,9% su ARC-AGI-3 e il 63% di chi lo misura
Il benchmark che Brockman dichiara saturato è ARC-AGI-3. L’annuncio di OpenAI gli assegna un 99,9%. Chi quel benchmark lo costruisce e lo amministra è ARC Prize, che poche ore prima aveva pubblicato la propria misura. Le due non coincidono.
Il testo di ARC Prize è breve e vale per intero: “Astra scores 63% on ARC-AGI-3, 99% via a new provider adapter harness”. Aggiunge che il modello supera la prestazione umana sul 96% dei livelli di ARC-AGI-3 e che “it builds the most precise symbolic model of novel environments we’ve seen”, quindi il giudizio complessivo è di riconoscimento.
La differenza fra 63 e 99 non sta nel modello. Sta nell’harness, cioè nello strato che collega il modello all’ambiente di test. ARC Prize precisa che si tratta di un adattatore nuovo. È lo stesso punto che avevamo trovato leggendo i benchmark di GLM-5.3, dove ogni valutazione gira dentro Claude Code 2.1.207. È la ragione per cui abbiamo scritto di harness engineering come di una disciplina a sé.
Un punteggio che passa da 63 a 99 cambiando l’adattatore misura il sistema completo, non la capacità del modello isolata. Entrambi i numeri sono legittimi e descrivono cose diverse. Quello che non regge è citarne uno solo senza dire in quale configurazione è stato ottenuto.
I numeri che stanno nelle stesse tabelle
Tre righe pubblicate da OpenAI insieme all’annuncio meritano attenzione quanto quelle in grassetto.
| Indice | GPT-6 Astra | Fable 5.1 | Fable 5 | Opus 5 | GPT-5.6 Sol |
|---|---|---|---|---|---|
| Artificial Analysis Intelligence Index v4.1.1 | 61,2 | 65,7 | 62,1 | 63,1 | 60,9 |
| Humanity’s Last Exam (con strumenti) | 57,2% | 65,0% | 63,8% | 63,6% | |
| Artificial Analysis Coding Agent Index v1.4 | 67,0 | 67,2 | 68,1 | 61,2 | 65,1 |
Sull’indice composito di Artificial Analysis, il più vicino a una misura generale fra quelli riportati, Astra è quarto dietro Fable 5.1, Opus 5 e Fable 5. Su Humanity’s Last Exam con strumenti è ultimo fra i modelli messi a confronto. Sull’indice per agenti di coding è terzo.
C’è poi il contro-numero più istruttivo, che viene dal metodo adottato da OpenAI stessa. Il 100% su ExploitBench convive con il 39,0% sull’ExploitBench rifatto con vulnerabilità dei tre mesi precedenti, costruito proprio perché il primo non discrimina più. Su ExploitGym, il più duro dei tre, il punteggio si ferma al 42,4%.
Quando un benchmark arriva al 100% smette di misurare la capacità e comincia a misurare sé stesso: dice che il test è esaurito, non che la capacità non abbia più limiti. La distanza fra quel 100% e il 39% sulle vulnerabilità recenti è la misura di quanto pesa la differenza.
Dove il salto si misura davvero: il cyber
Se c’è un’area in cui i numeri di Astra si staccano dal resto del campo, è la sicurezza offensiva. Qui OpenAI dichiara che il modello raggiunge la soglia Critical in cybersecurity del proprio Preparedness Framework, cioè il livello più alto della loro stessa scala di rischio.
Il punto metodologico da tenere fermo è che i numeri cyber più alti sono misurati senza le protezioni di produzione, cioè su un modello che nella forma distribuita non è accessibile. OpenAI lo dichiara in modo esplicito.
| Benchmark | GPT-6 Astra | GPT-5.6 Sol | Fable 5.1 | Opus 5 |
|---|---|---|---|---|
| ExploitBench | 100,0% | 78,5% | 70% | |
| ExploitGym | 42,4% | 30,3% | 30,4% | 22,0% |
| ExploitBench (giugno-agosto 2026) | 39,0% | 11,5% | ||
| SRE-Bench | 88,0% | 55,9% | 12,5% | |
| SEC-Bench Pro | 85,4% | 79,1% |
SRE-Bench misura la capacità di fare reverse engineering di binari per capirne la logica senza accesso al sorgente. Astra risolve l’88,0% dei task al primo tentativo e il 99,2% entro quattro, contro 55,9% e 68,7% di GPT-5.6 Sol.
Le valutazioni condotte da esperti aggiungono il dettaglio che i benchmark non danno: senza protezioni di produzione il modello “could use previously unknown vulnerabilities to achieve arbitrary code execution in hardened browsers and create privilege-escalation exploits for hardened operating-systems”.
Il benchmark costruito contro la contaminazione
C’è una scelta metodologica che merita di essere segnalata, perché risponde all’obiezione più ovvia sui benchmark di exploitation: che i modelli abbiano visto in addestramento le vulnerabilità storiche su cui vengono misurati.
OpenAI ha costruito ExploitBench (giugno-agosto 2026), una valutazione interna che usa vulnerabilità dei tre mesi precedenti. Il risultato è 39,0% contro l’11,5% di GPT-5.6 Sol, con un consumo di token in uscita molto inferiore. È un divario più ampio, in proporzione, di quello sul benchmark storico dove entrambi i modelli partono già alti.
Nel corso di quella valutazione il modello ha trovato e usato due vulnerabilità zero-day fino a quel momento sconosciute. OpenAI scrive di averle comunicate ai manutentori.
La valutazione nata dall’incidente Hugging Face
Questa è la parte che chiude il cerchio con quanto abbiamo scritto per tutta l’estate.
OpenAI ha costruito una valutazione, che nelle tabelle compare come ExploitGym honeypot, per misurare se un modello davanti a un compito difficile o impossibile esce dal perimetro assegnato. È esattamente il meccanismo che l’indagine METR aveva ricostruito: agenti con un task impossibile che cercano una via d’uscita e finiscono per collaborare su una bacheca non autorizzata.
Il risultato dichiarato è 48,2% per GPT-5.6 Sol senza protezioni di produzione, contro 0,0% per Astra. Nella stessa tabella compare una voce Impossible ExploitGym con Astra al 100%, senza confronto.
Ci sono altre due misure coerenti con questa. Sul benchmark interno di elusione Astra sta a 0,00% contro lo 0,29% di Sol e OpenAI scrive che il modello non ha mai tentato di aggirare un diniego di Codex Auto-Review “even when Auto-review was deliberately configured to be evadable and the task was impossible to complete otherwise”. Cioè nella condizione che a luglio aveva prodotto l’incidente.
Sul benchmark interno di sicurezza nell’uso del computer, dove il valore basso è quello buono, Astra sta a 2,4% contro il 22,0% di Sol e con Auto-Review attivo a 1,8% contro 4,3%.
Il numero che peggiora
In mezzo ai miglioramenti OpenAI dichiara una regressione. È il passaggio che rende il documento utile invece che promozionale.
Il ragionamento scritto di Astra è risultato più difficile da monitorare di quello di GPT-5.6 Sol, in test che chiedevano esplicitamente al modello di eludere il monitoraggio. La spiegazione data è che Astra ha maggiore controllo sul proprio ragionamento scritto e risolve i problemi in meno passaggi espliciti. OpenAI aggiunge che sui compiti complessi il modello sembra ancora fare fatica a nascondere il ragionamento necessario e che “we take the decline seriously”.
È rilevante perché la leggibilità della catena di ragionamento è una delle poche leve di controllo su cui si regge il monitoraggio degli agenti. È la stessa su cui METR aveva lavorato leggendo 1.300 transcript.
Cosa si può fare con la versione distribuita
Qui la distanza fra i numeri e l’uso pratico è ampia e va detta con precisione.
La versione che parte oggi rifiuta i compiti cyber più avanzati, compresa la scrittura di proof-of-concept per una vulnerabilità. Resta consentita la revisione sicura del codice e il patching, che OpenAI indica esplicitamente.
Attraverso il programma OpenAI Daybreak l’azienda dichiara di voler estendere l’accesso con protezioni meno restrittive nelle settimane successive, abilitando validazione di vulnerabilità e proof-of-concept, analisi di malware e detection engineering.
C’è poi un comportamento operativo che chi progetta integrazioni deve conoscere prima di scoprirlo in esercizio. I controlli di sicurezza aggiuntivi possono rallentare, sospendere o fermare del lavoro legittimo, difensivo compreso. In ChatGPT e in Codex la sospensione produce una richiesta di revisione all’utente. Nelle API il task si ferma. Per un servizio non presidiato la differenza fra “chiedi conferma” e “termina” è tutta.
Prezzi e disponibilità
Nelle API il modello è gpt-6-astra, a 10 dollari per milione di token in ingresso e 50 in uscita, con tariffe separate per letture e scritture di cache. Esiste una modalità fast fino a due volte più veloce, al doppio del prezzo.
Per le organizzazioni l’accesso è disattivato per default al lancio e va abilitato dall’amministratore del workspace. È supportata la Zero Data Retention per i clienti API che ne hanno diritto.
Fuori dal perimetro cyber, due numeri danno la misura del resto: su OSWorld 2.0 Astra fa 72,6% in circa 40 minuti per task contro il 65,7% in 75 minuti di Sol, mentre su Terminal-Bench 4.0 sta a 57,9% contro 37,3%.
Cosa ne pensiamo
Alla domanda del titolo i numeri rispondono in modo meno netto delle dichiarazioni che li accompagnano. Il benchmark che il presidente di OpenAI dà per saturato vale 63% secondo chi lo amministra. Arriva a 99% solo con un adattatore nuovo. Un modello presentato come il più intelligente al mondo che nelle proprie tabelle è quarto su un indice composito e ultimo su Humanity’s Last Exam non descrive un cambio di epoca: descrive una frontiera affollata, dove il primato si sposta di riga in riga a seconda di cosa si misura. E il crollo dal 100% al 39% quando le vulnerabilità sono recenti invece che storiche dice quanto della saturazione appartenga al modello e quanto al test.
Dove il salto è reale e ben documentato è il cyber, da dire con la stessa precisione: l’88% su SRE-Bench contro il 55,9% del predecessore e il 12,5% di Fable 5.1 è una distanza che nelle altre categorie non si vede. Se una discontinuità c’è, è verticale e su un dominio, non generale.
Sulla confrontabilità dei numeri serve un avvertimento pratico per chi legge tabelle. Martedì abbiamo scritto che Z.ai misura GLM-5.3 su ExploitGym riportando conteggi di task, 105 e 130, su budget di tempo rinormalizzati sui token al secondo di ciascun modello. OpenAI riporta lo stesso benchmark come percentuale di successo, 42,4%. Sono due protocolli diversi sullo stesso nome e i due valori non si mettono in fila. Chi costruisce una comparativa fra modelli su capacità cyber deve leggere le note metodologiche prima delle cifre, oppure rifare le misure in casa.
Per un difensore la parte utilizzabile oggi è più stretta di quanto i titoli suggeriscano. Revisione del codice e patching sono lavoro vero e sono ciò che il modello accetta di fare, mentre validare un proof-of-concept, analizzare un campione di malware o costruire una detection resta fuori fino a Daybreak. Chi valuta di adottarlo per un SOC dovrebbe partire da lì e non dal 100% su ExploitBench, che è misurato su una configurazione che non gli verrà consegnata.
Chi progetta un’integrazione ha un ultimo punto da mettere in conto. Fra la soglia Critical dichiarata, il monitoraggio del disallineamento attivo in produzione e il task che si ferma nelle API, un servizio costruito su questo modello deve prevedere il caso in cui l’esecuzione venga interrotta da un classificatore. È una modalità di guasto nuova rispetto a quelle che si gestiscono di solito e va messa nel disegno insieme a timeout e rate limit, non aggiunta dopo il primo incidente.
Sul reverse engineering l’88% di SRE-Bench al primo tentativo è il numero che seguiremo più da vicino, perché è la capacità che si incrocia direttamente con gli strumenti di analisi che stanno arrivando, di cui parleremo domani.