Sicurezza dei sistemi AI

Prompt injection, permessi degli agenti, fuga di dati: mettiamo in sicurezza LLM e agenti AI prima e dopo il rilascio.

Nuove superfici d'attacco

Un'applicazione con un LLM legge testo che non controlla: documenti, email, pagine web, risposte di altri sistemi. Un agente, in più, ha strumenti e permessi per agire. Per questo la sicurezza dei sistemi AI non si esaurisce nei controlli tradizionali: bisogna verificare cosa il modello può leggere, cosa può fare e cosa resta registrato.

Come riferimento usiamo la OWASP Top 10 for LLM Applications 2025 e la OWASP Top 10 for Agentic Applications, pubblicata a dicembre 2025.

I rischi principali

Prompt injection

Istruzioni nascoste in documenti, email o pagine web che il modello legge e scambia per comandi. È il primo rischio (LLM01) della OWASP Top 10 per le applicazioni LLM.

Fuga di dati

Dati personali, segreti aziendali o il prompt di sistema che finiscono nelle risposte o in servizi esterni.

Agenti con troppi poteri

Un agente con strumenti e permessi ampi può eseguire azioni che nessuno ha autorizzato: è l'«excessive agency» (LLM06) della OWASP Top 10 per le applicazioni LLM.

Dati e modelli avvelenati

Dati di addestramento o componenti manipolati che alterano il comportamento del modello. Per i sistemi ad alto rischio l'AI Act chiede misure anche contro questi attacchi.

Output non controllati

Testo generato dal modello e inserito senza verifiche in codice, query o comandi, con effetti sui sistemi a valle.

Consumo senza limiti

Cicli e richieste che crescono senza controllo, con costi e indisponibilità del servizio.

Cosa facciamo

  • Assessment e red teaming di applicazioni LLM e agenti: prompt injection diretta e indiretta, fuga di dati, abuso degli strumenti.
  • Perimetro degli agenti: strumenti ammessi, permessi minimi, budget, condizioni di uscita e approvazione umana delle azioni con impatto.
  • Controlli a runtime con Admina, il framework open source di governance dell'AI, progetto di Stefano Noferi, sponsorizzato da noze: filtro delle prompt injection, oscuramento dei dati personali, policy sulle destinazioni in uscita, sandbox per gli strumenti e audit trail con catena di hash SHA-256.
  • Valutazioni prima del rilascio e monitoraggio in produzione.

Per i sistemi ad alto rischio l'articolo 15 dell'AI Act chiede un livello adeguato di accuratezza, robustezza e cybersecurity, con misure contro avvelenamento dei dati e dei modelli, esempi avversari e attacchi alla riservatezza; con il Digital Omnibus questi obblighi si applicano dal 2 dicembre 2027 per i sistemi dell'allegato III e dal 2 agosto 2028 per quelli integrati nei prodotti. Progettiamo i controlli secondo il paradigma OISG, che associa una metrica a ogni pilastro. Per come costruiamo gli agenti, vedi Agentic AI.

Domande frequenti

Cos'è la prompt injection?

È un attacco in cui un testo letto dal modello (un documento, un'email, una pagina web) contiene istruzioni che il modello esegue come se venissero dall'utente o dallo sviluppatore. Con gli agenti, che hanno strumenti e permessi, le conseguenze possono essere azioni reali.

Un filtro anti-injection basta?

No. I filtri sono euristici: un segnale utile, non una garanzia. Per questo li affianchiamo a permessi minimi per ogni strumento, policy sulle destinazioni in uscita, sandbox, approvazione umana delle azioni con impatto e audit trail.

Come si limita cosa può fare un agente?

Con un perimetro deciso prima: strumenti ammessi, permessi minimi, destinazioni consentite, budget e condizioni di uscita del ciclo. Le azioni con impatto restano proposte che una persona approva.

Testate anche modelli e agenti in locale?

Sì. Valutiamo applicazioni basate su modelli commerciali e su LLM open weight eseguiti on-premise, insieme agli strumenti e ai dati a cui hanno accesso.

Contattaci

Vuoi mettere alla prova la tua applicazione AI?

Compila il form: la tua richiesta arriva al team dedicato.

Contattaci ora →

Vuoi supporto?Sei sotto attacco?Stato dei servizi
Vuoi supporto?Sei sotto attacco?Stato dei servizi