轻松利用日志动态分析平台玩转Nginx运维管理( 四 )


  • “告警”执行历史

轻松利用日志动态分析平台玩转Nginx运维管理

文章插图
通过告警记录查询,达到良好的管理目的 。
  • 第三方集成
前文所述 , 是鸿鹄自研的仪表板上完成的开发 。此外,鸿鹄系统还可以集成到第三方可视化组件(例如Grafana等)中 。
  • 可视化部分 -> Grafana
鸿鹄系统集成Grafana , 其核心思想是将复杂的计算逻辑放到鸿鹄系统来处理,将Grafana作为可视化工具来呈现结果 。这里简单分享一个在Grafana中集成鸿鹄系统的操作步骤,更详细的操作流程可以参照相关操作文档 。
 在Grafana中添加鸿鹄插件 。
轻松利用日志动态分析平台玩转Nginx运维管理

文章插图
配置鸿鹄链接信息 。
轻松利用日志动态分析平台玩转Nginx运维管理

文章插图
构建 SQL 查询 。
轻松利用日志动态分析平台玩转Nginx运维管理

文章插图
生成可视化展现 。
轻松利用日志动态分析平台玩转Nginx运维管理

文章插图
  • 第三方集成(封装数据接口)
鸿鹄系统还可以实现数据接口的封装功能,将复杂的SQL语句封装成查询工具 。
创建“SQL表函数” 。
轻松利用日志动态分析平台玩转Nginx运维管理

文章插图
在鸿鹄系统中,将复杂的查询计算逻辑“包装”成“SQL表函数” , 如上图所示,该“SQL表函数”包括函数参数及参数类型 , 函数的输入和输出都是数据表格;用户自定义函数逻辑将表格A转化为表格B 。
调用“SQL表函数” 。
应用过程中可以直接调用包装好的“SQL表函数” , 因此对于下游用户接口的使用非常便捷 。这样,可以将复杂逻辑甚至是Grafana不支持的逻辑 , 借助接口工具得以实现;详见下图举例,优化前文中Grafana集成的步骤3(构建SQL查询):Grafana通过调用“SQL表函数”接口直接实现可视化操作 , 从而实现数据计算和数据可视化之间的解耦 。
轻松利用日志动态分析平台玩转Nginx运维管理

文章插图
三、总结和回顾1、实践产出通过数据导入、数据解析、数据建模和数据可视化等操作,最终实现了Nginx运维的一个完整的场景应用,实现了该场景下的数据监控和分析 。这就是一个典型的实践产出 。
  • 一个完整场景应用
完成Nginx运营管理场景分析和监控需求 。
充分满足场景特点:
  • 实现简单化的非结构化数据动态解析,无需编程语言开发,只需字段加工配置调整;
  • 实现非结构化数据和结构化数据关联分析,无需显式类型转换便可以直接快速关联;
  • 实现灵活应对多变的运维管理需求 , 无需端到端代码重构 , 仅需数据模型迭代
可共享,易迁移 。
轻松利用日志动态分析平台玩转Nginx运维管理

文章插图
下图是该场景下的界面展示示例:
轻松利用日志动态分析平台玩转Nginx运维管理

文章插图
2、总结回顾Nginx运营管理是个通用的、普遍的需求 , 不同团队会使用不同的工具去实现这个需求 。炎凰数据使用鸿鹄平台完成了基础版的Nginx运营管理实现,使用到了鸿鹄的诸多基本功能 , 包括应用、数据集、数据源类型、查找表、字段加工、视图、物化视图、仪表板、告警、SQL表函数等 。鸿鹄系统的更多功能也等待用户的挖掘 。
此外,我们帮助大家总结了一些最佳实践,避免大家在使用的过程中“绕弯路” 。