分布式日志管理系统：从ELK到EFK( 二 ) _分布式日志

轻量级的Agent方案：FilebeatFilebeat 是基于原先 logstash-forwarder 的源码改造出来的，用 Golang 编写，无需依赖 Java 环境就能运行，安装包10M不到。
Filebeat效率高，占用内存和 CPU 比较少，可以解决在服务器上部署Logstash shipper消耗资源较高的问题，非常适合作为日志收集系统的Agent运行在服务器上。

文章插图

ELK/EFK总结基于 ELK或EFK的分布式日志解决方案的优势主要体现在以下几个方面：

扩展性强：采用高可扩展性的分布式系统架构设计，可以支持每日 TB 级别的新增数据。
使用简单：通过用户图形界面实现各种统计分析功能，简单易用，上手快
响应迅速：从日志产生到查询可见，能达到秒级完成数据的采集、处理和搜索统计。
界面美观：Kibana 界面上，只需要点击鼠标，就可以完成搜索、聚合功能，生成炫丽的仪表板。

对于除了ELK方案以外，在分布式日志管理上，我们还有很多其他的选择。近年来随着大数据的发展，海量数据采集组件Flume也开始广泛应用于分布式日志解决方案中。因为没有太多日志分析需求，我的团队采用了更轻量级的方案：Loki + promtail + grafana，建立类似Prometheus的日志监控系统，promtail负责收集日志，Loki负责存储，grafana负责展示。