京东商城|全栈出征，京东技术基石如何为“618”大促护航？
本文插图
6月18日24时 ， 2020年的618大促落下帷幕 ， 京东618大促期间累计下单金额达到2692亿元 ， 创下新纪录 。
与往年不同 ， 今年618是京东核心业务全面上云的第一年 ， 也是京东融合人工智能、云计算、物联网等业务板块升级京东智联云之后其技术能力的第一次大考 。
面对创新高的云端数据和流量洪峰 ， 京东技术扛住了 ， 这主要得益于作为京东技术基石的京东智联云全栈出征 ， 为618搭建了一套稳固且高弹性的技术底座 ， 支撑超大流量、超高并发的技术保障 。
近日 ， 京东智联云技术沙龙在线上举行 ， 来自京东的 5 位演讲嘉宾带来了各自的主题分享 ， 分别从分布式图搜索系统、分布式文件系统、全方位安全体系、数据库等角度 ， 揭秘京东技术全栈是如何为今年的 618 大促提供技术支撑的 。
本文插图
ChubaoFS整体QPS读可达3000W ， TP999仅用时5毫秒！
本文插图
朱洪银 ， 京东软件工程师
演讲题目：《支撑618大促流量洪峰利器——分布式文件系统ChubaoFS》
演讲精华：
今年的618大促 ， 京东面临着很多难题与挑战 ， 这主要包括计算和存储分离的需求 ， 数据的生产者和消费者使用不用的协议访问文件 ， 容器平台需要提供可持久化的分布式存储平台 ， 提供更大的磁盘空间 ， 以及对海量小文件友好、同时可以提供高性能、高可用、高可扩展性 。
这些挑战 ， 被京东自研的分布式文件系统ChubaoFS化解 。
本文插图
从架构上来看 ， ChubaoFS 包含 Master、MetaNode、DataNode、Client 四个模块 ， 具有高性能、多租户、通用存储引擎、高可扩展性、兼容POSIX接口、支持对象存储 6 个关键特征 。
ChubaoFS的元数据子系统是由多个MetaNode节点组成的 ， 可以水平扩容 ， 在一个 MetaNode上可以分布多个 MetaPartition 。
在京东 ， ChubaoFS 已经应用于 1000 多个业务 ， 为公司节省了大约 1000 多台机器 ， 成本节约效果明显 。
朱洪银介绍到 ， 618 大促期间 ， 客户端的数据剧增 ， 各个业务方可能根据访问量的变化进行大量扩容 ，
这时Master就会遇到带宽瓶颈
， 如果几十万个Cilent同时访问一台机器 ， 会对一台机器造成很大的压力 ， 所以ChubaoFS在中间加了一层以缓存系统的元数据 ， 这样客户端几十万的请求 ， 最终打到Master集群上可能会缩小1000倍 ， Master的压力明显降低 。
第二点是大促期间的热点数据访问 。
面对热点数据访问场景 ， 有三种处理手段 ， 第一种是S3；如果使用的是POSIX ， 则直接开启cache缓存选项 ， 提升读写性能；第三种是从集群的角度 ， 在创建vol时会多分配一些DataPartition和MetaPartition资源 ， 减小每台机器的IO压力和内存压力 ， 从而提升响应速度 。 在618期间 ， ChubaoFS的整体QPS读达到3000W ， 而TP999只用5毫秒 ， 写是800W ， 响应速度是65毫秒 ， 性能非常高 。
最后一点是高可用 ，
ChubaoFS 支持磁盘故障自愈 ， 并具有FollowerRead功能 ， 支持跨机房、跨pod部署 ， 单机房出现了问题 ， 另外一个机房也可以提供服务 ， 从而解决高可用的问题 。 目前 ， ChubaoFS已在GitHub开源 ， 感兴趣的同学可以详细了解 。
项目地址：https://github.com/chubaofs/chubaofs
论文地址: https://arxiv.org/abs/1911.03001
推荐阅读
![[坦言]收入提高了？滴滴司机坦言：因为平台这波操作，现在收入](/renwen/images/defaultpic.gif)
- |马云预言实现了？京东加快布局“下沉市场”，又一千亿市场来了？
- 股票行情|京东港股市值破1万亿港元，股价近一周涨超30% | 钛快讯
- 股票行情|*ST 商城买卖资产拟购标的被行政处罚 20 项
- 腾讯美股|中概股收盘：京东阿里齐创纪录新高，蔚来涨逾19％
- 中年|云集发布2020年Q2财报：逆势下盈利2010万 商城营收劲增201.3%
- IT新经济|云集Q2商城业务同比增超2倍，盈利2010万元同比扭亏
- 中新经纬|依托京东核心优势 1号会员店能否领跑会员电商跑道？
- |京东、美团背后“大金主”坐拥4150亿，成中国第一富豪
- 虎嗅APP|瞄准中产阶级，阿里京东做“用户分类”
- 中新网|京东的多赢之路如何走？要与商家“众乐乐”