在业务实践中，分布式系统咋定位问题或者提前发现问题隐患并进行优化
简单回答下
监控简单来说，分布式系统需要实现一个基本的监控工具。最简单的办法是在每个节点上部署一个agent，定时上报该机器的信息。这一块鱼龙混杂。开源的实施起来就比较复杂了。这一块主要分四层：
收集，具体怎么收集数据（比如sar命令、JMX等）传输，收集到的数据如何传到存储（比如用syslog，fluentd，statsd）存储+分析，如何存储收集到的数据，并提供查询（比如用mysql，postgres等一般数据库，RRD Tools工具，或者InfluxDB这样的专用时序数据库）界面展示和报警，数据怎么变成好看的图表，并提供不同维度的查询；如果可以，一些参数超过一定的阈值，就要自动报警（发邮件、发短信、发微信等）。（比如grafana, icinga等）也有很多All-in-one的收费方案，比如New Relic，听云等。
不同监控的侧重点不同，有的主打通用，于是可以对接一堆其他工具。有的则主打特定领域，比如Java自带的JMC可以监控JVM的GC，线程等情况；Percona Monitoring Plugins可以监控MySql的内部情况等。可以根据需要具体选择。有些云服务提供商也会提供一些最基本的监控，比如阿里云的相关工具。
监控什么呢当搭建一个集群，要监测三大类数据
机器数据：最主要包括CPU idle，io，load值等内存的使用和swap磁盘io KB/s，iops （如果是数据库的的机器特别重要）网络，总带宽占用，io KB/s， packet/s （如果是服务的机器就特别重要）
框架/服务级别的监控例如，如果是JVM，Java的堆内存情况；GC，尤其是FullGC的频率和暂停时间；线程数量和状态；如果可以的话，方法执行的耗时排名；如果是DB，为内存占用，磁盘io，慢查询，链接数的监控
业务界别监控比如单位时间下单数、Cache命中率等等、Log中500错误数等等。随着业务的变化，这些监控会不断的变化
【在业务实践中，分布式系统咋定位问题或者提前发现问题隐患并进行优化】 这是一个浩大的工程。不可能一蹴而就，也不可能一套工具就全搞定。必须结合Infra和业务开发工程师的共同努力才能构建出来。如果预算不是那么紧，建议采购一两套收费的方案来减少这方面的开发资源消耗。毕竟做公司的主要精力是业务本身，而不是开发完备的基础设施。当公司体量大到一定程度，自然就会建立专门的团队来做这些。
构建监控体系时注意 报警不能淹没使用者的接收。铺天盖地的报警只会让人把报警直接关了。所以设计时要考虑报警的频率，级别，ACK等机制。而且可能会反复调整。尽量把“关键问题的报警”提供出来。
实际的压力问题怎么发生的压力问题主要发生在两个时刻
上线的时候。比如曾经有一个同学做了一个实现，勿用了正则表达式，造成了一上线CPU飙高直接打到100%。这时通过监控工具和报警可以马上识别所有上线的包都有问题，立刻实施紧急回滚。类似的问题还有，比如写代码的SQL没有用好索引造成全表扫描。异步代码写成了同步的，卡死了接收端等等。用户流量压力突然增加。比如我们的长赢指数投资计划非常受欢迎。一发车就流量（带宽）升高10倍。这个第一次发生时没有应对的策略。事后我们使用K8S，提前准备热备机器来顶住流量。此外，很多压力会集中到DB，因此需要花跟多精力开发Cache（Cache其实是个很难的问题，回头单独讲）我用的工具工具太多了，我们调了几个，不一定是最好的，但至少目前还是可以解决问题的
收集端就用服务自带的命令即可，比如操作系统的top、sar，redis的info命令等传输和存储使用influxdb分析工具使用grafana和icinga
推荐阅读
- #快递# 1-11月江苏快递业务量超上年总量 62.2亿件！同比增长20.9%
- 江苏■全省信访事项办理群众满意率达95% 江苏基本建立信访业务标准化体系
- 侧重业务逻辑的产品需求规格说明书，需要有哪些要点
- 当下电脑城/电子城/数码城的业务日益萧条，作为普通的创业者该怎样转变思路从而突围
- 车尚|李东辉升任吉利控股CEO 金融投资或成吉利又一核心业务板块
- 为啥滴滴和快的的专车业务在叫车的产品流程里面没有参考uber的派单的模式而是继续采用司机抢单的模式
- 有哪些日期不宜到银行、通讯营业厅办理业务
- toB和toC公司及业务上的区别?
- 海事|全省海事业务技能大赛决赛在通举办
- 为啥PHP社区鲜有异步队列，分布式计算，数据分析的项目和讨论