![大厂架构:每天数百亿用户行为数据,美团怎么实现秒级转化分析?](http://img.jiangsulong.com/220407/0R04344W-11.jpg)
文章插图
有一句鸡汤说“以大多数人的努力程度而言,根本没有到拼天赋的地步”,套用在这里就是“以大多数系统的架构设计而言,根本没有到拼语言性能的地步” 。语言本身不是门槛,代码大家都会写,但整个系统的架构是否合理,数据结构是否足够高效,这些设计依赖的是对问题本质的理解和工程上的权衡,这才是更考量设计能力和经验的地方 。
总结
上述方案目前在美团点评内部已经实际落地,稳定运行超过半年以上 。每天的数据有几百亿条,活跃用户达到了上亿的量级,埋点属性超过了百万,日均查询量几百次,单次查询的TP95时间小于5秒,完全能够满足交互式分析的预期 。
![大厂架构:每天数百亿用户行为数据,美团怎么实现秒级转化分析?](http://img.jiangsulong.com/220407/0R0434G9-12.jpg)
文章插图
整个方案从业务需求的实际理解和深入分析出发,抽象出了维度筛选、序列匹配和去重计数三个核心问题,针对每个问题都给出了合理高效的解决方案,其中结合实际数据特点对数据结构的优化是方案的最大亮点 。在方案的实际工程落地和优化过程中,秉持“简单、成熟、可控、可调”的选型原则,快速落地实现了高效架构,通过一系列的优化手段和技巧,最终达成了3~4个数量级的性能提升 。
作者简介
业锐,2015年加入美团,现任美团点评数据平台查询引擎团队负责人 。主要负责数据生产和查询引擎的改进优化和落地应用,专注于分布式计算,OLAP分析,Adhoc查询等领域,对分布式存储系统亦有丰富经验 。
---------- END ----------
文章转载自公众号 美团技术团队,作者 业锐
推荐阅读
- 橄榄油加盐
- 每杯茶都是道风景
- 如何构建Google搜索自动完成功能
- 中指忽然肿胀疼痛变粗
- 挂烫机里面的水每次用完都要倒吗 挂烫机里面的水没放会有什么影响
- 103岁长寿老人的养生秘诀 每天一杯生姜茶
- 未来属于无代码分析:每个人都能成为数据科学家
- 月抛不用的时候护理液每天要换吗 半月抛用之前要不要泡护理液
- 扁鹊活到97岁只因每天坚持揉这部位
- 乾隆皇帝长寿居然是每天都做这个动作