Da MemGPT a Letta
Nell’ottobre 2023 Charles Packer e il team dello UC Berkeley Sky Computing Lab pubblicano il paper “MemGPT: Towards LLMs as Operating Systems”, che propone un’analogia diretta tra la gestione della memoria di un sistema operativo e quella di un modello linguistico. Il 23 settembre 2024 il progetto viene ribattezzato Letta e diventa la base tecnologica di Letta Inc., spin-off dedicato alla commercializzazione dello stack agentico. Il codice resta pubblico sotto licenza Apache 2.0.
Il cambio di nome riflette un’estensione dello scope: mentre MemGPT era focalizzato sulla memoria virtuale per LLM, Letta si propone come framework completo per agent stateful persistenti, con gestione di utenti, tool, modelli e ruoli.
Memory hierarchy
L’idea centrale introdotta dal paper MemGPT è la memory hierarchy: il contesto di un LLM viene trattato come un livello di memoria limitato — analogo alla RAM — affiancato da livelli più capienti ma più lenti. Letta distingue tre livelli: il context window del modello (memoria attiva immediata), l’archival storage (memoria a lungo termine interrogabile via semantic search) e la recall memory (log delle interazioni passate).
L’agent stesso, tramite function calling, può decidere quando spostare informazioni tra i livelli: memorizzare un fatto nell’archival storage, recuperarlo tramite query, aggiornare il core memory block che rappresenta le informazioni sempre presenti nel contesto. Questo meccanismo consente di superare i limiti del context window pur mantenendo coerenza nel tempo su sessioni lunghe.
REST API e Agent Development Environment
Letta espone un REST API per la creazione e gestione degli agent: ogni agent è un’entità persistente identificata da un ID, con stato serializzato in database relazionale (PostgreSQL o SQLite). Lo stato include la memoria, la configurazione dei tool e la cronologia dei messaggi.
L’Agent Development Environment (ADE) è un’interfaccia web per ispezionare lo stato interno di un agent: visualizzazione del core memory, navigazione dell’archival storage, debug delle chiamate a tool. L’ADE è pensato come strumento per sviluppatori durante la progettazione e l’analisi del comportamento dell’agent.
Model-agnostic
Letta è compatibile con i principali provider — OpenAI, Anthropic, Google, Mistral, Ollama, LM Studio, vLLM — e con modelli open weight eseguiti localmente. La gestione della memoria è implementata a livello di framework e non richiede supporto nativo dal modello: qualsiasi LLM capace di function calling può funzionare come cuore di un agent Letta.
Link: letta.com