Governance degli agenti autonomi

Controlli che lavorano mentre l'agente agisce: identificare chi agisce, capire cosa non va, fermarlo se serve.

Quando l'agente agisce da solo

Un agente autonomo pianifica, usa strumenti e prende decisioni con effetti reali. Più è capace, più è difficile verificare cosa fa. Con DebugABot facciamo ricerca sui controlli a runtime degli agenti autonomi: kill switch, fingerprinting, verifica dell'allineamento e rilevamento della deception.

DebugABot organizza questi controlli in nove primitive e tre fasi: identificare chi sta agendo, diagnosticare cosa non va e intervenire. Sono pensate per architetture diverse (agenti software, transformer, modelli di diffusione, world model, agenti embodied) e per più livelli dello stack: software, hardware e rete.

I controlli su cui lavoriamo

Fingerprinting dei modelli

Un'identità crittografica per ogni modello, da signature comportamentali, hashing dei pesi e attestazione hardware. È progettata per restare valida dopo fine-tuning e quantizzazione.

Attribuzione delle responsabilità

Una catena forense da ogni decisione alla sua conseguenza: record in hash chain SHA-256, con l'impronta del modello che ha agito.

Rilevamento della deception

Verifica la coerenza fra l'obiettivo dichiarato dall'agente e l'azione che compie. Punta a intercettare gli agenti che mentono per sembrare utili o per non essere fermati.

Human Index Score

Misura quanto controllo umano serve a ogni agente, in base a complessità del compito, storico, errori e impatto possibile. Si abbassa quando emergono anomalie.

Vincoli a runtime

Policy applicate sull'azione, non sul prompt: un livello esterno all'agente limita strumenti, spese e attuatori in base al rischio e chiama una persona quando serve.

Kill switch

Arresto ordinato che conserva lo stato: azioni transazionali con rollback e salvataggio dello stato dell'agente per ricostruire cosa è successo.

Dalla ricerca ai progetti

Adottiamo OISG (Open, Intelligent, Secure, Governed), il paradigma per i sistemi AI autonomi proposto da Stefano Noferi: quattro pilastri con una metrica ciascuno e un test di adeguatezza su 20 criteri. Il percorso consigliato parte dalla strumentazione (Governed), aggiunge la sicurezza a runtime (Secure), assicura l'auditabilità (Open) e itera.

Admina, progetto di Stefano Noferi, sponsorizzato da noze, è il framework open source che lo mette in pratica: ogni chiamata a modelli e strumenti passa da loop breaker, filtro delle prompt injection, oscuramento dei dati personali, policy e audit trail con catena di hash SHA-256. Su Admina poggiano DataGovern, IntelliPA, AgenticHealth e VerdePilot.

Nei progetti per i clienti integriamo Admina, con audit e supporto. Lavoriamo anche sulle misure utili oggi: inventario degli agenti e dei loro permessi, approvazione umana delle azioni con impatto, audit trail verificabile e valutazioni prima di ogni messa in produzione. Come progettiamo gli agenti è nella pagina Agentic AI; il problema del controllo sui sistemi più capaci è nella guida alla superintelligenza. Per i test di sicurezza c'è la pagina sicurezza dei sistemi AI.

Abbiamo presentato questo approccio, «Agents act, people govern», a Homo Agenticus, l'Academia & Industry Panel dell'Università di Pisa nel convegno IEEE ICAI-TEMS 2026.

Domande frequenti

Che differenza c'è fra OISG, Admina e DebugABot?

OISG è il paradigma architetturale: quattro pilastri (Open, Intelligent, Secure, Governed) con una metrica ciascuno. Admina è il framework open source che lo mette in pratica su ogni chiamata a modelli e strumenti. DebugABot è il progetto di ricerca del nostro lab sui controlli a runtime degli agenti autonomi.

Perché non basta valutare un agente prima del rilascio?

Perché l'agente agisce dopo, in ambienti che cambiano. Alcuni modelli si comportano diversamente quando credono di essere osservati o addestrati, come hanno documentato Anthropic e Redwood Research a dicembre 2024. Per questo OISG chiede una conformità verificata a runtime e in modo continuo, non con audit periodici.

Cosa fa un kill switch per un agente AI?

Ferma l'agente senza lasciare operazioni a metà, con azioni transazionali che si possono annullare e lo stato salvato per ricostruire l'accaduto. È uno dei temi di ricerca di DebugABot. Oggi Admina può interrompere le chiamate con CIRCUIT BREAK, oltre a ALLOW, BLOCK e REDACT.

Cosa si può usare già oggi?

Admina, rilasciato con licenza Apache 2.0: su di esso poggiano DataGovern, IntelliPA, AgenticHealth e VerdePilot. Lo integriamo nei progetti di AI governata dei clienti, con audit e supporto. DebugABot resta un progetto di ricerca.

Contattaci

Vuoi governare gli agenti AI della tua organizzazione?

Compila il form: la tua richiesta arriva al team dedicato.

Contattaci ora →

Vuoi supporto?Sei sotto attacco?Stato dei servizi
Vuoi supporto?Sei sotto attacco?Stato dei servizi