Inferenza locale su DGX Spark: le ricette per DeepSeek V4 Flash, GLM-5.2 e Qwen3.6

Servizi & Sistemi Linux

Domini, hosting, PEC, infrastruttura email, servizi di rete e sistemi Linux. Assistenza e gestione dell'infrastruttura Open Source.

Scopri →

Cybersecurity

Consulenza CISO-as-a-service: postura, roadmap di remediation, supporto continuativo.

Scopri →

Il 5 agosto Mia, che pubblica come @MiaAI_lab, ha messo su X una lista dal titolo “What are the best models you can run on your NVIDIA DGX Spark? Aug 2026 Edition”. Novantamila visualizzazioni in un giorno, e sotto una raccolta di ricette su GitHub che si possono aprire e leggere riga per riga.

È una delle poche risposte concrete alla domanda che ci si fa quando si valuta di tenere i modelli dentro il proprio perimetro: cosa ci gira davvero, e a che velocità.

La lista

Su una sola unità il consiglio è DeepSeek V4 Flash. Le due unità sono indicate come “sweet spot”. Su tre, GLM-5.2 è “still the best intelligence you can run locally if you have 3 sparks”. Su quattro, GLM-5.2 NVFP4 distribuito su tutte. C’è anche una nota di attesa: Qwen3.8-27B “should be released soon and this could change my recommendation”.

Cosa c’è sotto

Le ricette sono pubbliche, e questo rende la lista verificabile invece che opinabile. L’organizzazione GitHub MiaAI-Lab ha 55 repository, venti dei quali riguardano la DGX Spark. La ricetta per DeepSeek V4 Flash su due unità ne raccoglie 442 di stelle, il cruscotto di monitoraggio 126.

Sotto ogni riga della lista c’è uno stack diverso, e non è vLLM dappertutto.

Su una singola unità DeepSeek V4 Flash non gira con vLLM. Il README lo dice esplicitamente: “vLLM cannot read this repo’s asymmetric GGUF, so the repo ships its own server”. Il motore è DwarfStar 4, il runtime in C e CUDA scritto da Salvatore Sanfilippo, descritto nella ricetta come “deliberately narrow, not a generic GGUF runner”. Il repository di Mia è un involucro attorno a tre progetti di terzi, fra cui il fork CUDA ottimizzato per la Spark. I pesi occupano circa 110 GiB su disco e la KV cache costa 9,5 KiB per token.

Su due unità si passa a vLLM in tensor parallel, con checkpoint agganciato a un commit preciso e immagine ghcr.io/anemll/dspark-vllm-gx10, che è un port di vLLM 0.25 per GB10. Le due macchine si parlano via RoCE, con le variabili NCCL da adattare alla propria scheda. La KV cache usa un percorso sperimentale, nvfp4_ds_mla.

Su tre unità il checkpoint della ricetta GLM-5.2 è ibrido: NVFP4 per i pesi caldi (attention, esperti condivisi, backbone denso) e AQLM a 2 bit per gli esperti MoE freddi, quelli che il routing attiva di rado. Così 744 miliardi di parametri stanno in circa 272 GB. Il collo di bottiglia è dichiarato nel repository: gli esperti a 2 bit “spend ~92% of their bus traffic on random 16B codebook gathers”. Serve un fork di vLLM, non quello ufficiale.

Tre numeri accostano misure diverse

DeepSeek V4 Flash su una unità, 1M di contesto e 26 token al secondo. I 26 vengono da un benchmark di decodifica su 256 token di output, pubblicato come immagine dentro il repository, che alla concorrenza 1 misura 26,7 token al secondo. Quel benchmark non dichiara la lunghezza del prompt, e il repository non documenta un’esecuzione a un milione di token di contesto. C’è anche una divergenza fra documentazione e codice: la tabella del README indica 262.144 token come default, lo start.sh imposta CTX="${CTX:-1000000}".

DeepSeek V4 Flash 0731 su due unità, 1M e 82 token al secondo. Gli 82,4 token al secondo sono la riga a concorrenza 1 di un decode su completamenti da 2048 token con prompt corti. Il README è onesto e lo scrive: “This repo still does not claim a full 1M-token retrieval or correctness benchmark”.

GLM-5.2 su tre unità, 348k di contesto e 25 token al secondo. Le due cifre appartengono a due configurazioni diverse. Il percorso che arriva a 348k misura circa 21 token al secondo su output strutturato, fra 13,6 e 19 su carico misto. I 25 o 26 token al secondo sono dell’altro percorso, che però scende a 235k di contesto. Nessuna delle due configurazioni documentate fa 348k a 25 token al secondo.

Non è una lista gonfiata: i numeri esistono tutti e stanno nei repository. È che il contesto massimo configurabile e la velocità a prompt corto sono due grandezze che non si misurano insieme, e in una tabella affiancate sembrano descrivere lo stesso esperimento. Chi valuta l’hardware su quei numeri va incontro a una delusione prevedibile: la velocità cala quando il contesto si riempie, ed è esattamente il caso d’uso per cui si compra un milione di token.

Quanto costa

Una DGX Spark monta il superchip GB10 con 128 GB di memoria unificata LPDDR5x e una banda di 273 GB/s, una NIC ConnectX-7 a 200 Gbps per collegare due unità, e assorbe 240 W in un contenitore da un chilo e due.

Il listino della Founders Edition è passato da 3.999 a 4.699 dollari con un annuncio ufficiale del 23 febbraio 2026, motivato con “industry wide memory supply constraints”, senza modifiche all’hardware. A quel prezzo le configurazioni della lista costano circa 4.700 dollari per una unità, 9.400 per il “sweet spot” a due, 14.100 per tre e 18.800 per quattro, senza contare cavi, dazi e IVA.

I 273 GB/s sono il numero da tenere a mente più dei TOPS: su modelli di questa taglia la banda di memoria è ciò che stabilisce quanti token al secondo si ottengono, ed è la stessa ragione per cui funzionano gli approcci di inferenza ibrida CPU e GPU e la quantizzazione della KV cache.

Il cruscotto che spegne la flotta

Fra i repository c’è sparkDash, il pannello che sorveglia più Spark in una sola finestra: memoria unificata, banda, code di vLLM, token al secondo per backend e comandi di alimentazione.

Il README dichiara una cosa che nella lista su X non compare: “There is no authentication on the HTTP/WebSocket API. Run sparkDash only on a trusted network”, e aggiunge che questo “includes power APIs (shutdown / Wake-on-LAN)”. Chiunque raggiunga quella porta può spegnere il cluster.

L’avvertenza è scritta e va riconosciuta all’autrice. Il punto è cosa succede dopo: un cruscotto comodo installato su una macchina in ufficio, una regola di firewall scritta di fretta e il perimetro fidato diventa la rete aziendale intera. È il tipo di dettaglio che separa un esperimento da un servizio, e sposta la questione dal far girare i modelli al governarli, come in Open Intelligence, Secure Governance.

Cosa ne pensiamo

La lista è utile perché nel dibattito sui pesi aperti manca quasi sempre il pezzo pratico: non se un modello è scaricabile, ma cosa succede quando lo si accende su hardware che si può comprare. Qui i modelli sono tutti a pesi aperti, l’hardware ha un listino, le ricette hanno una licenza MIT e i numeri si possono contestare perché sono scritti.

I numeri sono autoprodotti: li pubblica chi ha scritto le ricette, misurati sulla propria macchina. L’account Hugging Face collegato dichiara tre GB10 da 128 GB e una RTX 5090, che sull’hardware di misura è più di quanto dichiari la maggior parte dei benchmark in circolazione.

Confrontarli però si può, ed è la differenza rispetto a un numero di marketing. Sapid Labs raccoglie su howtospark.com misure di DGX Spark inviate da chi le esegue, “crowdsourced from real Sparks, with the recipes to reproduce every number”. Su GitHub c’è almeno un’altra misura indipendente di DeepSeek V4 Flash su due unità, con una configurazione diversa (FP8 in tensor parallel invece di NVFP4 con decodifica speculativa) e un risultato diverso, circa 41 token al secondo a stream singolo.

Le ricette dipendono da fork. Il vLLM per GB10 non è quello ufficiale, il motore per DeepSeek è un fork del fork, e la ricetta a due unità pilota il repository di qualcun altro. Chi mette una di queste configurazioni in produzione eredita una catena di dipendenze che nessuno si è impegnato a mantenere.

Il contesto dichiarato non è il contesto utile. Un milione di token configurabili non significa un milione di token usabili alla velocità pubblicata, e prima di firmare un ordine da diecimila dollari quel test lo si fa sui propri documenti, con i propri prompt.

Fonti

• Il post di Mia su X, 5 agosto 2026
• MiaAI-Lab su GitHub, le ricette
• Ricetta DeepSeek V4 Flash su una DGX Spark
• Ricetta DeepSeek V4 Flash 0731 su due DGX Spark
• Ricetta GLM-5.2 NVFP4 e AQLM su tre DGX Spark
• sparkDash, il cruscotto multi-Spark
• How To Spark, benchmark DGX Spark raccolti da chi li esegue
• elsung, misura indipendente di DeepSeek V4 Flash su due DGX Spark
• NVIDIA DGX Spark, specifiche di prodotto
• NVIDIA, annuncio di variazione di prezzo della DGX Spark