数据采集技术简介( 四 )


十二、大促保障大促保障指在双十一等类似场景下,流量短时间内保障的情况,需要对系统进行一定的改造 。在高并发场景下,从数据的埋点采集,到日志服务器的收集,再到数据传输,再到数据的分析和统计,任何一个环节出现问题,大促保障就是失效的 。由于日志处理的链路非常长,因此可以通过限制流量、消息队列削弱峰值、异步处理、内存缓冲、扩展服务等方式进行,在日志采集环节中,可以通过延迟非核心日志上传的方式,优先处理核心日志,以保障统计效果 。在天猫双十一中,可以经常看到暂停部分服务的通知,便是这种方式的实现 。




推荐阅读