L’ingresso di Snowflake nell’open source AI
Il 24 aprile 2024, Snowflake AI Research — la divisione di ricerca del vendor cloud-data — rilascia Arctic, il primo modello linguistico di grandi dimensioni pubblicato dall’azienda. La distribuzione avviene sotto licenza Apache 2.0 e comprende, oltre ai pesi, i template di training e la documentazione sulla composizione dei dati, elementi raramente resi disponibili in modelli di scala equivalente.
L’obiettivo dichiarato non è la competizione sui benchmark di ragionamento generalista, ma l’ottimizzazione per i casi d’uso enterprise tipici dei clienti Snowflake: SQL, generazione di codice, seguire istruzioni. Il risultato più notevole è il costo di training, riportato a circa 2 milioni di dollari complessivi, una cifra significativamente inferiore rispetto ai budget di modelli comparabili per numero di parametri.
Dense-MoE Hybrid
L’architettura di Arctic è definita dagli autori come Dense-MoE Hybrid: ogni blocco combina una componente dense da 10 miliardi di parametri con uno strato Mixture-of-Experts formato da 128 esperti da circa 3,66 miliardi di parametri ciascuno. Il conteggio totale è di 480 miliardi di parametri, di cui 17 miliardi attivi per ogni token — combinando un esperto MoE selezionato con la componente dense condivisa.
Questa struttura permette di distribuire parametri specialistici su un numero elevato di esperti, mantenendo al contempo una base densa che assorbe le capacità generali. Rispetto a un MoE puro con pochi esperti grandi, la scelta di 128 esperti più piccoli aumenta la specializzazione e riduce l’overhead di routing per capacità.
Apertura e trasparenza
La licenza Apache 2.0 è accompagnata da un livello di trasparenza operativa raro: Snowflake documenta l’approccio al data composition curriculum, con rapporti proporzionali tra web text, codice e contenuti strutturati che variano durante le fasi di training. Il team pubblica inoltre analisi su costo per token, scelte di infrastruttura e trade-off tra parametri totali e attivi. Queste informazioni rendono Arctic un punto di riferimento per chi progetta modelli enterprise con vincoli di budget, più che per la competizione pura sui leaderboard.
Link: snowflake.com/arctic