阿里云云栖社区|开放、普惠、高性能-SLS时序存储助力打造企业级全方位监控方案

简介:SLS新增时序存储 , 面向时序类数据提供一站式接入、存储、可视化、告警、智能运维等功能 。 方案完整支持各主流开源监控平台 , 提供低成本、免运维的监控数据存储与服务能力 。
随着时间的推移 , 万事万物都在不停的变化 , 而我们也会用各种数字去衡量这些变化信息 , 比如年龄、重量、速度、温度、金钱...在数字化时代中 , 我们会把这些随着时间变化的数据保存起来 , 挖掘这些数据的价值 。 通常我们会称这类数据为---时序数据 。
阿里云云栖社区|开放、普惠、高性能-SLS时序存储助力打造企业级全方位监控方案
文章图片
时序数据在各行各业都得到了非常广泛的应用 , 例如股票走势、交易趋势、服务器指标、脉搏心跳、定位坐标、能耗趋势等等 , 而这些数据几乎在所有的场景中都得到了应用 , 例如:各类炒股软件提供众多不同维度的股票K线图 , 为广大股民提供参考标准;AppleWatch通过监控佩戴者的心率信息 , 帮助人们提早发现严重的心脏疾病;国家电网通过分析各个小区、住户的用电量曲线 , 来判断是否有偷电漏电情况;电商类的公司会监控平台的下单、交易、退货、评价等关键流程的变化趋势 , 用来快速发现各类异常;各个游戏平台通过分析每个用户角色的操作、位置等变化规律 , 来判断是否使用了作弊辅助工具...
为了能够支撑各种场景的时序分析、监控等需求 , 近几年在开源和商业领域均出现了一些时序存储的引擎 , 例如TimescaleDB、CrateDB、InfluxDB、OpenTSDB、Prometheus等 , 这些存储引擎分别有自己的生态和适用场景 , 在某些场景下具有较高的优势 , 例如TimescaleDB基于PostgreSQL , 如果是PG的用户可以快速上手;InfluxDB具有非常完善的生态 , TICK(Telegraf、InfluxDB、Chronograf、Kapacitor)可以快速上手;Prometheus对于云原生场景支持非常友好 , PromQL也非常便捷灵活 , 已经成为Kubernetes上监控的实事标准 。 然而从实际公司的业务场景出发 , 对于时序数据会有更多的要求:高性能:时序数据通常流量大、保存周期长且需要长时间的范围查询 , 能够支撑大规模的写入与快速查询是必备条件;开放:通常公司内部会有多个部门对不同系统的时序数据进行不同类型的分析、监控等需求 , 因此时序存储需具备足够的开放能力 , 支持各种数据的接入以及下游消费;低成本:这里的成本主要包括两方面:资源成本和人力运维成本 。 有摩尔定律的存在 , 单位资源成本越来越低 , 而单位人力成本每年都在提升 , 因此低成本的核心在于运维这套时序存储的人力成本;智能化:尤其在海量监控对象的场景中 , 纯粹的静态规则很难发现某个监控对象的异常 , 因此时序存储上层需要附加智能化的算法 , 提升监控的准确率 。
【阿里云云栖社区|开放、普惠、高性能-SLS时序存储助力打造企业级全方位监控方案】SLS的日志存储引擎在2016年对外发布 , 目前承接阿里内部以及众多企业的日志数据存储 , 每天有数十PB的日志类数据写入 。 其中有很大一部分属于时序类数据或者用来计算时序指标 , 为了让用户能够一站式完成整个DevOps生命周期的数据接入、清洗、加工、提取、存储、可视化、监控、问题分析等过程 , 我们专门推出了时序存储的功能 , 与日志存储一道为大家解决各类机器数据的存储问题 。
阿里云云栖社区|开放、普惠、高性能-SLS时序存储助力打造企业级全方位监控方案
文章图片
时序存储整体架构如上图所示 , 接入层可以对接各类开源的采集软件以及SLS自己开发的高性能Logtail , 同时支持各种语言SDK直接写入 , 也支持Kafka、Syslog等开放性协议;存储层是完全分布式架构 , 每个时序库可通过Sharding方式水平扩展 , 数据默认3副本高可靠存储;计算层与存储层分离 , 提供SQL、PromQL纯分析型语法 , 同时提供智能分析能力 。 基于SLS提供的采集、存储、分析等功能可快速构建企业自己的业务监控、微服务监控等方案 。


推荐阅读