产业气象站|4.0 新特性在电商行业的探索,TiDB( 二 )


3.快速查看集群状态问题——TiDBDashBoard
针对集群状态无法快速定位的问题 , TiDB4.0有一个新的组件叫TiDBDashBoard 。 通过TiDBDashBoard以及TiDB的集群的诊断报告 , 我们可以快速拿到集群的基本信息、负载信息、组件信息、配置信息以及错误信息 , 这些信息其实已经非常的丰富了 , 对于我们来讲是非常有效的 , 可以稳准狠的找到我们的集群的异常 。
产业气象站|4.0 新特性在电商行业的探索,TiDB
文章图片
TiDBDashBoard是TiDB4.0特别有亮点的一个功能 , 它可以实时的获取到我们集群的信息 。 上图是DashBoard概况页面 , 里面包含了QPS、响应延迟、节点的状态 , 以及告警相关的一些内容 。 通过概况 , DBA可以迅速的查到集群的状态 , 快速定位问题 , 提高了应用性 , 可以说TiDB4.0整体的应用性已经非常高了 。
产业气象站|4.0 新特性在电商行业的探索,TiDB
文章图片
慢查询可以说是里程碑的一个功能 。 之前一直在吐槽TiDB慢查询的问题 , 我们从1.0吐槽到4.0 , 但是4.0有了DashBoard后 , 可以指定数据库 , 查看不同的慢查询 , 也可以快速的定位我们的慢查询 。 我们不再需要自己ETL , 也不需要自己再上机器 , 就可以快速的定位到慢查询 , 而且包含排序、执行时间等信息 , 这是对于即将要使用TiDB的公司来讲 , 一个非常利好的消息 。
产业气象站|4.0 新特性在电商行业的探索,TiDB
文章图片
我们可以通过慢查询找到我们的慢查询的列表 , 有了列表之后 , 我们就可以知道具体的SQL语句 。 SQL语句信息包含SQL语句的模板、指纹ID、样例、执行计划 , 以及事物相关的一些指标 , 这个指标对我们来讲是非常难得的 。 在我们自己做ETL的时候 , 其实很多指标和信息是拿不到的 , 但是现在通过SQL语句分析 , 我们可以看到慢查询的各个执行阶段 , 也可以看到各个阶段的执行时间 , 提高了我们整体SQL分析的体验 。
产业气象站|4.0 新特性在电商行业的探索,TiDB
文章图片
现在还添加了日志搜索功能 。 在早期我们做ETL的时候 , 需要检索各种各样的日志 , 然后再去分析 , 现在有了这个日志搜索这个功能 , 我们不再需要登陆机器了 , 也不再需要去做对应的系统来分析日志 , 这会极大的降低我们的人力成本和开发成本 。 有了这个工具以后 , 我们可以指定时间段 , 指定日志等级 , 还可以指定它的节点 , 通过节点可以检索到我们最新的一些日志 , 这个对我们来讲是非常友好的 。
4.数据抽取增加线上响应延时问题——TiFlash节点
产业气象站|4.0 新特性在电商行业的探索,TiDB
文章图片
现在我们启用了TiFlash节点来解决数据抽取会增加线上响应延时的问题 。 TiFlash的特性包括异步复制、一致性、智能选择和计算加速 , 具体原理就不讲了 , 我们主要讲一下在转转的使用场景 。 在转转主要的使用场景是供数节点和物理隔离 , 相当于在新的机器上加了一个TiKV的节点 , 我们做了一个分离 , 不同的请求走不同的后端数据节点 , 这样在进行数据抽取的时候 , 它不会影响到整体的线上性能 。 并且这是智能选择的 , 可以根据我们业务、SQL的复杂度 , 自己去判断该走TiKV还是走TiFlash , 线上的就走TiKV , 线下的就走TiFlash , 这个是强制的 。
5.超大集群无法做到有效备份——Backup&ampRestore
【产业气象站|4.0 新特性在电商行业的探索,TiDB】分布式备份恢复工具Backup&ampRestore解决了超大集群无法做到有效备份的问题 。 通过我们做的测试 , 在万兆网卡的环境下 , 300GB的数据 , 限速120MB/s的情况下 , 备份到网络文件系统 , 耗时不到10分钟 。 在同样限速120MB/s的条件下 , 通过网络文件系统进行数据恢复 , 我们测试的结果是耗时约12分钟 , 可以说是极大的降低了我们备份恢复的时间 。 并且还有一个关键因素 , 就是备份的速度完全取决于我们TiKV的多少 , TiKV越多 , 我们的备份速度越快 , 恢复的速度也越快 。


推荐阅读