大厂架构:每天数百亿用户行为数据,美团怎么实现秒级转化分析?( 四 )


大厂架构:每天数百亿用户行为数据,美团怎么实现秒级转化分析?

文章插图
 
有一句鸡汤说“以大多数人的努力程度而言,根本没有到拼天赋的地步”,套用在这里就是“以大多数系统的架构设计而言,根本没有到拼语言性能的地步” 。语言本身不是门槛,代码大家都会写,但整个系统的架构是否合理,数据结构是否足够高效,这些设计依赖的是对问题本质的理解和工程上的权衡,这才是更考量设计能力和经验的地方 。
总结
上述方案目前在美团点评内部已经实际落地,稳定运行超过半年以上 。每天的数据有几百亿条,活跃用户达到了上亿的量级,埋点属性超过了百万,日均查询量几百次,单次查询的TP95时间小于5秒,完全能够满足交互式分析的预期 。
大厂架构:每天数百亿用户行为数据,美团怎么实现秒级转化分析?

文章插图
 
整个方案从业务需求的实际理解和深入分析出发,抽象出了维度筛选、序列匹配和去重计数三个核心问题,针对每个问题都给出了合理高效的解决方案,其中结合实际数据特点对数据结构的优化是方案的最大亮点 。在方案的实际工程落地和优化过程中,秉持“简单、成熟、可控、可调”的选型原则,快速落地实现了高效架构,通过一系列的优化手段和技巧,最终达成了3~4个数量级的性能提升 。
作者简介
业锐,2015年加入美团,现任美团点评数据平台查询引擎团队负责人 。主要负责数据生产和查询引擎的改进优化和落地应用,专注于分布式计算,OLAP分析,Adhoc查询等领域,对分布式存储系统亦有丰富经验 。
---------- END ----------
文章转载自公众号 美团技术团队,作者 业锐




推荐阅读