Da experiment tracking a piattaforma MLOps
Quando Databricks ha rilasciato MLflow nel 2018, il focus era chiaro: tracciare esperimenti di machine learning con un’API semplice che registrasse parametri, metriche e artefatti. Sette anni dopo, MLflow 2.x è una piattaforma che copre l’intero ciclo di vita del ML, dal primo esperimento al modello in produzione. La trasformazione non è avvenuta per accumulazione di funzionalità, ma per una progressione logica: chi traccia esperimenti ha bisogno di un registro dei modelli, chi ha un registro ha bisogno di deployment, chi fa deployment ha bisogno di evaluation sistematica.
Tracking e Model Registry
Il tracking server resta il nucleo: ogni esecuzione registra parametri, metriche, tag e artefatti in un backend storage configurabile — database relazionale per i metadati, object storage per gli artefatti. Il Model Registry aggiunge un layer di governance: ogni modello registrato ha versioni numerate, stage di transizione (Staging, Production, Archived) e metadati descrittivi. I team possono promuovere un modello da staging a production con un’operazione tracciata e reversibile.
L’integrazione con i principali framework — PyTorch, TensorFlow, scikit-learn, Hugging Face Transformers, LangChain — è nativa: MLflow serializza i modelli nel formato appropriato e registra automaticamente le dipendenze.
MLflow Deployments e model serving
MLflow Deployments (precedentemente MLflow AI Gateway) estende la piattaforma al serving. I modelli registrati possono essere esposti come endpoint REST con un comando, serviti localmente per il testing o deployati su Kubernetes tramite chart Helm ufficiali. L’integrazione con i principali cloud provider — AWS SageMaker, Azure ML, Databricks Model Serving — permette di passare dal registry al deployment senza cambiare tooling.
Il serving gestisce il versionamento degli endpoint, il routing del traffico tra versioni diverse e il monitoraggio delle metriche di inferenza — latenza, throughput, distribuzione delle predizioni.
Evaluation e LLM
La componente di evaluation di MLflow 2.x introduce metriche standardizzate per valutare i modelli prima e dopo il deployment. Per i modelli tradizionali, metriche classiche come accuracy, F1 e RMSE. Per i large language model, metriche specifiche come toxicity, relevance e faithfulness, calcolate automaticamente su dataset di valutazione.
L’integrazione con LangChain e i framework per applicazioni LLM posiziona MLflow come layer di gestione anche per la nuova generazione di applicazioni AI, dove il “modello” è una catena di prompt, retrieval e generazione.
Uno standard de facto
L’ecosistema MLOps Open Source si è consolidato attorno a pochi strumenti. MLflow, con il suo approccio modulare — si può usare solo il tracking, o solo il registry, senza adottare l’intera piattaforma — si è affermato come lo standard per le organizzazioni che vogliono gestire il ciclo di vita ML senza dipendere da un singolo cloud provider.
Link: mlflow.org