之前我们搭建的ELK日志收集系统 , 主要是用来收集SpringBoot应用的日志 。其原理是应用通过Logstash插件 , 使用TCP向Logstash传输日志 , 从而存储到Elasticsearch中去 。但是有很多中间件的日志都是直接存储在文件中的 , 比如Nginx、Elasticsearch和MySQL , 此时我们就需要一个搬运工来把日志搬到Elasticsearch中去 , Filebeat正是这样一个日志搬运工 , 本文将详细介绍它的使用方法 , 希望对大家有所帮助 。Filebeat简介Filebeat是一款轻量级日志采集器 , 可用于转发和汇总日志与文件 。Filebeat内置有多种模块(Nginx、MySQL、redis、Elasticsearch、Logstash等) , 可针对常见格式的日志大大简化收集、解析和可视化过程 , 只需一条命令即可 。
Filebeat安装及配置安装Filebeat之前 , 我们需要先安装好Elasticsearch和Kibana , 具体参考 你居然还去服务器上捞日志 , 搭个日志收集系统难道不香么 , 注意使用7.6.2版本 。
- 我们先下载Filebeat的安装包
文章插图
- 下载完成后解压到指定目录 , 注意图中所示的三个地方;
文章插图
- Kibana中早就提供好了Filebeat收集各种日志的教程 , 我们先进入首页
文章插图
- 点击Add log data按钮 , 可以发现支持的中间件还是很丰富的 , 涵盖了常用的;
文章插图
- 点开Nginx的日志收集教程看下 , 是不是很详细;
文章插图
- 接下来我们就要开始配置Filebeat了 , 配置好Elasticsearch和Kibana的连接地址 , 修改Filebeat的安装目录下的配置文件filebeat.yml即可 , 修改内容如下 。
output.elasticsearch: hosts: ["localhost:9200"]setup.kibana: host: "localhost:5601"
收集Nginx日志我们先拿Nginx来练练手 , 体验下Filebeat的日志收集功能吧 。
- 使用如下命令开启Filebeat的Nginx日志收集模块;
filebeat modules enable nginx
- 开启完成后 , 进入modules.d目录下 , 你会发现nginx.yml的disable后缀没有了 , 说明已经被开启;
文章插图
- 接下来修改nginx.yml文件 , 配置好Nginx的access和error日志路径;
# Module: nginx# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.6/filebeat-module-nginx.html- module: nginx access: enabled: true var.paths: ["I:/developer/env/nginx-1.8.1/logs/access.log"] error: enabled: true var.paths: ["I:/developer/env/nginx-1.8.1/logs/error.log"]
- 由于启用了Nginx日志收集模块 , 我们需要通过如下命令对Filebeat进行设置;
filebeat setup
文章插图
- 通过如下命令启动Filebeat服务;
filebeat -e
- 我们可以通过之前使用的Kibana中的Nginx教程页面 , 检查下数据是否成功被收集了;
文章插图
- 点击Nginx logs dashboard按钮可以查看收集到的Nginx日志 , 先看看概览日志;
文章插图
- 再看看详细日志 , 从此不用再去服务器上捞Nginx日志了!
文章插图
推荐阅读
- 沫子在哪个平台直播?
- 网贷为啥只催收不起诉?
- 喝茶不需要理由,台湾高山山茶花贮藏注意事项
- 后台电脑录屏怎么设置?如何给电脑录制屏幕?
- 如何搭建一套能够同时支持RTMP和国标GB28181的流媒体平台视频服务器?
- 名典女鞋贵不贵 名典女鞋贵吗
- 关羽台词全部 关羽太狂傲了
- 安卓|谷歌确认!Android 13最大改进 解决杀后台:CPU/内存使用率暴降
- 数仓、数据平台和中台还分不清楚?老板的多年经验之谈,看完懂了
- 金萱茶叶简介,台湾金萱