Unified logging layer
L’ingestion dei log in ambienti distribuiti è frammentata: app stdout, syslog, journald, file rotazionali, servizi cloud. Ogni sorgente parla un formato diverso. Serve un layer unificato che colleziona, parse, normalizza, arricchisce, instrada verso backend eterogenei (ElasticSearch, S3, Kafka, Loki, Datadog).
Fluentd
Fluentd è rilasciato nell’ottobre 2011 da Treasure Data (Sadayuki Furuhashi, anche autore di MessagePack). Scritto in Ruby + C, licenza Apache 2.0. Donato alla CNCF nel novembre 2016, graduated nell’aprile 2019.
<source>
@type tail
path /var/log/app.log
tag app.web
</source>
<match app.**>
@type elasticsearch
host es.example.com
</match>Pipeline di source → filter → match, plugin ecosystem di 1000+ moduli (input, parser, filter, output).
Fluent Bit
Fluent Bit è rilasciato nel 2015 da Eduardo Silva sempre nell’ecosistema Treasure Data / Fluent, scritto in C puro, footprint ~450 KB RAM. Progettato per edge, container, IoT. Condivide lo status CNCF Graduated con Fluentd sotto l’organizzazione Fluent.
Uso tipico: Fluent Bit come collector su ogni nodo/pod, Fluentd come aggregator centrale con trasformazioni complesse.
Kubernetes logging
Pattern standard:
- DaemonSet Fluent Bit su ogni nodo → legge
/var/log/containers/*.log - Aggregator Fluentd (opzionale) → parsing avanzato
- Output: Elasticsearch/OpenSearch, Loki, S3, Kafka, Azure Log Analytics, Google Cloud Logging
Concorrenti
- Logstash (Elastic, 2009) — JVM-heavy, parte di ELK, licensing SSPL dal 2021
- Vector (Datadog, 2019) — Rust, moderno, unified logs+metrics+traces
- Filebeat (Elastic) — leggero, parte Elastic stack
- Promtail (Grafana) — collector specifico per Loki
- rsyslog, syslog-ng — legacy UNIX
Nel contesto italiano
Fluent Bit è onnipresente nei cluster Kubernetes italiani:
- Banche con stack ELK/OpenSearch
- Telco — TIM, Vodafone per log aggregation infrastruttura
- PA digitale — progetti cloud nazionali (PSN)
- SaaS B2B con multi-tenant logging
- Hosting provider e MSP
Molti integratori italiani propongono stack EFK (Elasticsearch + Fluent Bit + Kibana) o Loki + Fluent Bit + Grafana.
Riferimenti: Fluentd (ottobre 2011). Treasure Data, Sadayuki Furuhashi. Fluent Bit (2015, Eduardo Silva). Licenza Apache 2.0. CNCF Fluentd graduated aprile 2019; Fluent Bit nella stessa organizzazione Fluent. 1000+ plugin ecosystem.