监控|太赞了！大佬竟然用ELK搭建起了支撑TB级的日志监控系统( 二 )
技术我们采用 Kafka Streams 作为 ETL 流处理。通过界面化配置实现动态过滤清洗的规则。
大概规则如下：
界面化配置日志采集。默认 Error 级别的日志全量采集。
以错误时间点为中心，在流处理中开窗，辐射上下可配的 N 时间点采集非 Error 级别日志，默认只采 info 级别。
每个服务可配 100 个关键日志，默认关键日志全量采集。
在慢 SQL 的基础上，按业务分类配置不同的耗时再次过滤。
按业务需求实时统计业务 SQL，比如：高峰期阶段，统计一小时内同类业务 SQL 的查询频率。可为 DBA 提供优化数据库的依据，如按查询的 SQL 创建索引。
高峰时段按业务类型的权重指标、日志等级指标、每个服务在一个时段内日志最大限制量指标、时间段指标等动态清洗过滤日志。
根据不同的时间段动态收缩时间窗口。
日志索引生成规则：按服务生成的日志文件规则生成对应的 index，比如：某个服务日志分为：debug、info、error、xx_keyword，那么生成的索引也是 debug、info、error、xx_keyword 加日期作后缀。这样做的目的是为研发以原习惯性地去使用日志。
⑦可视化界面我们主要使用 Grafana，它支持的众多数据源中，其中就有普罗米修斯和 Elasticsearch，与普罗米修斯可谓是无缝对接。而 Kibana 我们主要用于 APM 的可视分析。
日志可视化
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
推荐阅读
![[疾病早预防]这样“三步走”才是慢乙肝的治疗目标](http://ttbs.guangsuss.com/image/3bc8818b8fb320c427d4a227673c8419)
- 新京报|抽干湖水调取监控仍不见，离奇失踪女子离家前去过哪？丨动画还原
- 瞬间|电动车违章瞬间有多惨烈驾驶员被撞倒飞起！监控画面还原现场！
- 客厅装修设计效果图|小夫妻打造85平北欧风，小卧室改个性书房太赞了，看完就想回家改
- 监控视频|就餐时捡到金手镯，归还给失主后，她哭了……
- 志愿服务|18日江门这场活动太赞了！
- 杭州一年轻姑娘惊慌跑出厕所：“快！帮我看监控，有人偷拍！”
- 小区保安离职后，突发微信告诉业主：你被监控长达一年之久！真相细思极恐
- 浙样的生活|你已被监控一年！离职小区保安突然发微信告诉业主，真相细思极恐
- 小区保安离职后, 突然发微信告诉业主:你被监控长达一年之久!
- 整容手术|他曾是最美女装大佬，走上整容之路，网友：越来越像潘南奎！