L’esordio di 01.AI
Il 6 novembre 2023, 01.AI — la società fondata da Kai-Fu Lee — rilascia Yi-6B e Yi-34B, le prime versioni pubbliche della propria famiglia di modelli linguistici. I modelli sono bilingui inglese-cinese, con un equilibrio di training dati concepito per rendere le due lingue ugualmente competitive, caratteristica ancora rara al momento del rilascio per modelli pensati in un contesto cinese ma distribuiti globalmente.
Yi-34B, in particolare, si posiziona tra i modelli della fascia 30-35 miliardi di parametri che competono con Llama 2 70B sui benchmark standard in lingua inglese, mentre su benchmark cinesi (C-Eval, CMMLU) supera diversi riferimenti dell’epoca.
Context esteso e varianti
Poco dopo il rilascio iniziale, 01.AI pubblica Yi-34B-200K, una variante con finestra di contesto estesa a 200.000 token. L’estensione è ottenuta attraverso un processo di continued pretraining su sequenze lunghe, con modifiche alle posizionali RoPE per mantenere stabilità su lunghezze superiori al training originale. La disponibilità di un modello bilingue con contesto lungo è rilevante per scenari di analisi documentale e sintesi di contenuti estesi in entrambe le lingue.
Licenza
I primi rilasci Yi adottano una licenza custom aperta: uso libero per ricerca e concesso per casi commerciali previa registrazione presso 01.AI. Questa scelta, comune ad altri modelli cinesi dell’epoca, pone Yi in una categoria intermedia tra le licenze pienamente permissive e quelle con restrizioni esplicite.
Link: 01.ai