Intelligenza Artificiale
Architetture AI on-premise, LLM locali, RAG, agenti autonomi. L’intelligenza che non si può permettere di vedere spenta va posseduta.
Scopri →
Admina Enterprise
Governance AI Open Source: audit trail, PII redaction, policy bidirezionali ALLOW/BLOCK/REDACT su qualsiasi modello, locale o remoto.
Scopri Admina →
Servizi & Sistemi Linux
Progettazione, deploy e gestione di infrastrutture Linux on-premise: dai server all’hardware AI, con dati che restano tuoi.
Scopri →
Ricerca & Sviluppo
Ricerca applicata e prototipazione, dall’AI all’infrastruttura, in collaborazione con università e centri di ricerca.
Scopri →Cos’è colibri
colibri è un motore di inferenza scritto in C, rilasciato da JustVugg con licenza Apache 2.0, che fa una cosa precisa: fa girare GLM 5.2, un modello Mixture of Experts da 744 miliardi di parametri, su una macchina consumer con circa 25 GB di RAM. Non un modello ridotto o distillato: proprio il modello grande, lo stesso di cui abbiamo scritto parlando di GLM 5.2 e sovranità AI, messo alla portata di un PC di fascia media.
Il progetto è essenziale per scelta: zero dipendenze esterne, niente BLAS, niente runtime Python, con kernel quantizzati scritti a mano e backend opzionali per GPU. A metà luglio 2026 conta circa 11.500 stelle e 900 fork su GitHub: un progetto della comunità che ha toccato un nervo scoperto.
L’idea: gli esperti come cittadini del disco
Il trucco è nel modo in cui colibri tratta la memoria. Invece di pretendere che l’intero modello stia in RAM (o peggio, in VRAM), tratta VRAM, RAM e disco come un’unica gerarchia gestita a mano. I componenti densi del modello, circa 17 miliardi di parametri (circa 9,9 GB in int4), restano residenti in RAM. I 21.504 esperti instradati, che occupano il grosso del modello (circa 370 GB su disco in int4), non vengono caricati tutti: vengono streammati dal disco NVMe on-demand, con una cache LRU per livello e la page cache del sistema operativo come secondo livello.
È lo stesso cambio di prospettiva che avevamo sottolineato per DwarfStar 4 di antirez: lì era la KV cache a diventare un cittadino del disco, qui sono gli esperti della parte MoE. In entrambi i casi la quantità di RAM smette di essere un muro (“questo modello ci gira, sì o no?”) e diventa uno spettro continuo di velocità: con abbastanza spazio su un SSD veloce, un modello enorme diventa praticabile, non solo teorico.
Come ci riesce
Sotto il cofano colibri mette insieme diverse tecniche recenti di inferenza efficiente:
- KV cache compressa con attenzione MLA: 576 valori per token invece di 32.768, un ordine di grandezza in meno di memoria per il contesto.
- Speculative decoding con multi-token prediction nativo, misurato dalla comunità intorno a 2,2-2,8 token per forward.
- Kernel quantizzati int8/int4/int2 (AVX2), con backend opzionali CUDA e Metal per chi ha una GPU o un Mac Apple Silicon.
- Persistenza della KV cache tra un riavvio e l’altro, output strutturato forzato da grammatica e attenzione sparsa DSA.
- Un API server compatibile con OpenAI, così si collega agli strumenti esistenti senza modifiche.
I requisiti minimi dichiarati sono modesti per ciò che fanno girare: circa 25 GB di RAM, 12 o più core e un SSD NVMe capiente (il modello int4 occupa circa 370 GB). Le prestazioni, misurate dalla comunità e da prendere come indicative perché dipendono molto dall’hardware, vanno da 0,3 a circa 1,2 token al secondo. Non è veloce, ed è bene dirlo: non è un modello per una chat interattiva fluida, ma per lavoro batch, agenti che ragionano con calma, o semplicemente per avere in casa un modello di frontiera che altrimenti richiederebbe tutt’altra infrastruttura.
Dal cluster DGX al box sotto la scrivania
Ed è qui che colibri conta davvero. La strada classica per far girare un modello da 744 miliardi di parametri è un cluster: più sistemi NVIDIA DGX collegati in un SuperPOD con NVLink e InfiniBand, come abbiamo raccontato descrivendo la piattaforma NVIDIA DGX. È l’hardware da data center, con i costi e le dipendenze che comporta.
colibri prende la direzione opposta: lo stesso modello su una singola macchina, con 25 GB di RAM e un disco NVMe. Si affianca alla stessa famiglia di strumenti di DwarfStar 4 e all’hardware “AI sulla scrivania” come le workstation con NVIDIA GB10: pezzi diversi dello stesso movimento, che porta la frontiera dal cluster in sala macchine al box sotto la scrivania. Lo scambio è chiaro, velocità contro accessibilità, ma per molti casi d’uso è esattamente lo scambio giusto.
Cosa ne pensiamo
colibri è la dimostrazione pratica di una cosa che ripetiamo da tempo: l’AI è troppo critica per essere solo un servizio fornito. Un modello a pesi aperti di frontiera che gira sul proprio hardware, senza dipendere da un’API che qualcun altro può limitare o spegnere, non è più un esercizio teorico ma un git clone e un modello scaricato da Hugging Face.
Il quadro più ampio lo abbiamo raccontato pezzo per pezzo: un governo che ordina lo spegnimento di un modello closed (il caso Fable 5), l’accesso alla frontiera che diventa filtrato a monte (GPT-5.6 Sol), e dall’altra parte i modelli a pesi aperti (GLM 5.2) e i motori che li rendono eseguibili in locale. È il senso di Open Intelligence, Secure Governance: possedere il pavimento operativo e governarlo, anche con Admina, che porta audit e policy su qualunque modello, locale o remoto.
Restano i limiti, che è giusto non nascondere: colibri è lento, richiede 370 GB di spazio su disco veloce, è un progetto giovane della comunità, e resta legato alla disponibilità del checkpoint GLM 5.2 quantizzato. Ma la traiettoria è quella giusta, ed è la direzione in cui lavoriamo: AI on-premise, governata e sovrana, su infrastruttura Linux che resta tua. Un modello da 744 miliardi di parametri sotto la scrivania, qualche mese fa, sembrava fantascienza. Oggi è questione di RAM, un SSD capiente e un po’ di pazienza.