轻松利用日志动态分析平台玩转Nginx运维管理 _Nginx

一、分享背景1、关于此次分享(1) 关于炎凰数据

文章插图
炎凰数据是一家专注于打造自主知识产权的大数据处理平台的公司。
(2) 关于鸿鹄

文章插图
鸿鹄是炎凰数据为广大开发者（研发人员、数据分析师、数据科学家等）提供的免费社区版一站式异构数据分析平台，包含了异构数据的采集、导入、存储、计算分析、可视化和告警等一系列服务。平台采用云原生架构和特有的读时建模引擎，支持标准的SOL语言，让用户可以灵活地管理海量多源异构数据，快速地分析数据特征，助力用户轻松实现数据驱动业务，诚邀大家一起参与，免费体验，共同助力新产品的功能优化、新技术的发现探索。
(3) 分享目的Nginx是个常用的系统，其运维管理是普遍的需求。本文从实际案例出发，介绍如何利用日志动态分析平台（炎凰数据的鸿鹄产品）完成Nginx运维管理的场景落地，涵盖从数据导入、数据解析、数据建模，到数据可视化的全过程，以及告警及第三方系统集成等等。通过实际案例分享，展示一个新型的日志动态分析平台如何通过一站式的方案解决日志运维管理中的挑战，帮助用户敏捷且高效地完成运维管理工作。
(4) 期望收获

端到端快速高效搭建简单Nginx运维管理的实操案例
使用一体化日志分析工具平台的最佳实践
手把手的异构数据解析和关联分析的实战经验

2、实践场景：Nginx运维管理(1) 数据源来自Nginx的access log (包含所有客户端请求信息)，属于日志类型数据。

时序文本型。
具备一定格式而非结构化。
格式非固定，具有predefined combined format，也具有各种extended format，依赖于具体配置而变化。

来自Prometheus的CPU监控数据，属于监控类型数据。

时序型(按时间采样) 。
结构化数据 (关系型数据库表结构，包含明确字段定义) 。

来自CMDB的映射数据，属于静态数据。

非时序型
结构化数据（IT资产与业务资产的关系数据，包含：FQDN，IP ， Service等的相关映射关系）

(2) 场景特点

对log这类动态非结构化数据的解析。
多源异构数据的关联分析：Nginx + Prometheus + CMDB 。
运维管理场景下，需求灵活多变且会持续迭代。

二、实践案例1、场景实现准备应用应用是平台提供的一种实现不同场景的方式，让用户将创作的仪表板、告警等资源有序地组织起来，打造完整的解决方案。
如下图所示，利用鸿鹄平台，创建了一个名叫“Nginx运营管理”的应用，之后所有的操作，以及所有分析资源本身都会包含在所创建的这个应用当中。

文章插图
因此，实现某一通用场景的最佳实践就是创建“应用”，进而通过打包等方式实现“共享” 。
数据源数据集是一个一组事件的集合，用来存储事件的容器。每一个查询，都需要描述清楚从哪个数据集开始进行查询。导入数据的时候，都需要明确指出事件存储在哪个数据集中。
如下图所示，完成应用的创建后，下一步需要新建数据集。

文章插图
数据源类型数据源类型用于对具有统一类型属性的数据进行集合处理。平台中的数据源类型包含一系列的属性，定义了对数据的各类解析处理规则，例如数据索引阶段的抽取模式、查询阶段的抽取模式、字段分隔符等。平台内置了多种开箱即用的数据源类型，包含ncinx accesslog，Apache access log，syslog等。数据源类型对应字段_datatype，是一个字符串，用来标记事件原始数据的格式等元信息。