脑极体|华为的“少年天才”攀登者,出发向智能存储的“奥林帕斯山”
毕业季和招生季里的一次次“官宣” , 让华为“天才少年”彻底出圈 , 也展现出了华为“凶猛”的技术人才进击态势 。
大家在关注百万年薪的同时 , 可别忘记与顶级薪酬相匹配的顶级挑战 。 拿到高档offer的“天才少年少女” , 都选择加入的华为存储相关领域 , 是十分值得关注的领域 。
存储究竟有多重要?随着各行各业智能化的深入 , 数据基础设施自然也需要跟上节奏 。 越来越多的企业需要高效的数据存储与管理系统 , 来实现海量的数据管理与保护 , 为业务发展与经济增长提供保障 。
而2019年 , 华为曾以“奥林帕斯奖”为名 , 鼓励科研人员积极创新 , 解决数据基础设施领域的技术难题 。 而火星的奥林帕斯山 , 是太阳系已知最高的火山 , 是珠穆朗玛峰的三倍 , 以此来类比 , 难度可想而知 。
本文插图
攀爬“太阳系之最”的技术高峰 , 自然需要专业且顶级的精英人才 。 所以 , 我们不妨暂时放下金光闪闪的高薪标签 , 来看看这些攀登者们是如何征服存储这座“奥林帕斯山”的 。
远眺 , 万物智能的数据风景
拒绝腾讯、阿里和美国存储巨头西部数据的邀请 , 在四份offer中直奔华为的“天才少女” , 选择与自己在校研究方向——新型存储介质(NVM , SMR)、数据库和键值存储系统——相契合的华为存储相关工作 。
而天才少年也在接受采访中表示 , 最终选择加入华为 , 是希望能够和一群志同道合的人做有意义的事 , 怀抱理想让世界刮目相看 。
存储如同圣杯 , 正在成为今天和未来的数据狂潮中全社会新的避难所 , 也吸引了众多年轻的有志之士为之奋斗 。
目前看来 , 我们正在经历数据三变:
量级变大:数字化、智能化产业趋势的兴起 , IoT设备逐渐变得无处不在 , 5G即将产生的超级联接 , 都让传统的IT基础设施面临着数据浪潮冲击;
价值变大:数据的存储与融通 , 已经从互联网产业的刚需 , 变成了各个行业未来业务增长的生产资料 , 5G+AI+云时代的新一代存储商业空间已经清晰;
产业之变:数据存储从底层承载平台 , 开始向数据流动、分析、利用的计算产业环节延伸 , 对硬件创新和软件迭代提出了全新挑战 。
人类的智能时代已经笃定 , 新一代存储就成了必须翻越的山脉 。
规划 , 向山顶迈进
在新一代存储设施的宏大挑战中 , NVMe成了所有攀登者必须抵达的一座山峰 。
2010年 , NVMe(Non-Volatile Memory Express非易失性内存标准)标准接口协议诞生 , 就注定了会让挑战者高山仰止:
传统存储中连接固态闪存SSD的最典型方式SAS , 吞吐量有限 , 随着存储介质性能百倍级以上的提升 , 已经成为限制硬件性能释放的天花板 。
而NVMe则革命性地用简洁、直接的轻量级技术能力 , 释放了新的产业机会 。
NVMe协议替代了原有的AHCI规范 , 并且软件层面的处理命令进行了重新定义 , 得以规范固态硬盘访问接口 , 去掉了SAS系统中的IO Scheduler和SCSI等复杂的协议层 , 利用多核处理器 , 降低协议交互时延 。
本文插图
与单队列SAS协议相比 , NVMe协议可支持多达64K个队列 , 实现更高的并发处理 。 此外 , 通过PCIe直连 , 让CPU和NVMe SSD直接通信 , 比传统SAS架构更精简 。 有数据显示 , 如果采用SAS后端的SCSI协议 , 一次完整的主机数据写入请求需要通过4次协议交互 , 而华为NVMe全闪存只需要2次协议交互 , 处理写请求的效率比SAS全闪存高1倍 , 显著提高了固态硬盘的读写性能 。
用一个类比来说 , 就是将原本草木丛生、人车畜共行的林间小道铲平了 , 修建一个更宽、更平坦的高速公路 , 数据自然能在上面快速流畅地通行 。
根据Gartner预测 , 2022年NVMe SSD在存储中占比将达到52% 。
本文插图
听起来 , 似乎只要将这个新协议用起来就好了 , 有什么难的?攀登者在前往大本营之前 , 都会提前进行线路规划、了解即将面对的地形和可能的风险 , 而对于NVMe技术的落地 , 其存在的挑战就在于 , 想要一路给SSD“开绿灯” , 并不容易 。
首先 , 新技术从实验室落地市场 , 需要达到规模化应用的高能效比 。 NVMe SSD全闪存阵列在合理成本上发挥出它的性能极限 , 从单纯的注重性能发展到真实降低单位比特成本 , 才能吸引客户买单;
其次 , 需要完整的产业链支持 , 比如当时的全闪存阵列控制器架构都是为了适应机械硬盘而设计的 , NVMe面临着软硬件适配、运维管理的重重阻碍 。
另外 , 只有NVMe产品能够在企业业务中可以释放出真正的商业价值 , 特别是在分秒必争的企业场景 , 这就需要产品力的加持 。
这些 , 都推动着攀登者们全面理解、步步为营、持续发力 。
攀登 , 华为存储的三把“神兵”
在存储领域 , 传统的技术话语权柄一直被美国、日本等大国巨头厂商所把持 。 但变局在NVMe上发生了 。
2018年 , 华为在中国存储与数据峰会上 , 发布了华为OceanStor 存储 Dorado系列 , 率先实现了全系列支持NVMe架构 。
在达到这一成绩之前 , 华为也早已拿下了不少小的技术“据点” , 比如发布了业内唯一端到端NVMe SSD盘、NVMe闪存控制器和NVMe全闪存操作系统等等 。
智能存储的产业阶段 , 华为NVMe全闪存阵列 , 锤炼出了三把披荆斩棘、无往不利的“神兵利器”:
1.全面覆盖 , 化繁为简 , 指数级性能增长
华为更进一步 , 从网络、服务器、存储全部采用NVMe Over RoCE全IP组网设计 , 使用 TCP/IP 和 RoCE 来部署NVMe 闪存存储平台 , 让以往需要在多种协议(FC/IP/IB/PCIe/SAS)中复杂交互的局面 , 用NVMe一种协议完成了整个网的管理 。
这样从前端网络连接、后端硬盘框连接、scale-out的控制器互联均采用同一种网络协议 , 其优势也显而易见:极大降低了存储时延 , 极致时延可达0.1ms;避免复杂的网络协议和规划 , 简化了数据中心和企业网络的部署和维护成本 。
本文插图
2.全面创新 , 端到端整体护航高可靠性
作为业界率先实现全系列端到端NVMe全闪存的厂商 , 华为自然也抢先交付出了一整套的产业价值 。
以新一代OceanStor分布式存储、OceanStor全闪存、FusionData智能数据湖解决方案等为例 , 就基于智能无损网络和硬件 , 实现了数据在“采、存、算、管、用”整个生命周期的端到端整合和优化 , 将新一代存储技术更全面地融入数据基础设施 。
为此 , 华为应用了一系列创新技术 。
比如针对商用NVMeSSD盘必须快速在线更换的需求 , 避免暴力热插拔(PCIe surprise hot plug)可能导致的系统异常、业务中断 , 华为打造了智能无损网络和OceanStor全闪存联合NOF+增强方案 , 采用前端共享大卡在系统内实现故障自动巡检、即时感知、主动修复 , 链路故障感知时间只有1秒 , 端到端时延仅为75μs 。 与之相比 , 业内通用的NOF故障感知时间长达15秒 , 后者显然对于极大提升系统可靠性 , 保障端到端的稳定时延 , 起到了关键作用 。
再比如 , 存储单点的可靠性往往需要采用双控冗余技术保障 , 但大部分厂商会放弃技术上较难的原生双PCIe端口 , 而选择另辟捷径 , 导致系统可靠性的降低 。
而华为的解决方法是十年磨一剑 , 攻破了双端口技术 , 两个PCIe 3.0X2端口独立 , 互相不影响 , 为系统修复和异常处理提供了硬件基础 , 保证了系统双控冗余性 , 提升系统的可靠性 。
为了解决硬盘重构时间增长 , 传统RAID技术无法保障系统可靠性 , 容易导致盘故障、数据丢失的问题 , 华为采用创新的RAID-TP软件技术 , 基于Erasure Code算法 , 将校验位做到支持1、2、3位可调 , 容忍同一个RAID组内1-3块盘同时失效 , 在3块盘同时失效的情况下能够容忍数据不丢失 , 业务不中断 。 这是目前美国戴尔、IBM等厂商都做不到的 。
本文插图
(华为支持NVMe Over Fabric的端到端方案)
3.软硬件结合 , 从工作流程、工具链、产品化的全面升级
要让数据在整个生命周期内都能满足时代诉求 , 面对的挑战还有很多 。 所以除了仅在硬件产品优化上做文章之外 , 华为也从底层出发 , 从工作流程、工具链到产品进行了全方位使能 。
举个例子 , 华为率先在NVMe全闪存领域实现免网关双活方案 , 基于闪存的硬件和软件优化 , 双活时延达到1毫秒 , 性能业界最高 , 保障业务7*24高可用 , 并支持从双活方案平滑升级到3DC方案 。
华为OceanStor 存储 Dorado系列还开发一系列自动化部署工具 , 把运维工程师从复杂繁琐的网络部署工具中解放出来 , 全面提升从网络规划到实施的易用性 。 加上人工智能技术智能预测故障、定位问题、实时健康度分析、分析性能和容量趋势等等应用 , 大大降低存储系统运行风险和运维成本 , 将存储管理效率提升5倍以上 。
通过这一系列组合拳 , 华为正在将NVMe技术不断融入到存储阵列之中 , 在数字化升级的时代浪潮中 , 让各行业都能直观地感受前沿技术带来的体验质变 。
冲顶 , 全球存储 , 中国时刻
不出意外 , 华为的技术攀登者们成功在一个个大本营胜利会师、安营扎寨 。
在技术分析机构DCIG的《DCIG 2020年-2021年全闪存阵列购买指南》中 , 华为OceanStor存储Dorado系列占据C位 , 位列最佳推荐榜首 , 超越其他所有竞争对手 。
全球权威机构Gartner公布的最新数据显示 , 2019年华为存储全球增速第一 , 成为市场中后劲最足的厂商 。
在2020年第一季度全球存储供应商普遍出现营收下滑的背景下 , 华为存储逆势保持24.7%的高速增长 , 其中华为全闪存增长率高达45.1% , 远高于市场平均增长率和其他竞争对手 。
本文插图
从2002年起步至今 , 华为存储从零创业 , 到如今拿下NVMe的技术高地 , 加速向全球市场冲锋 , 后劲都来自哪些要素?或许可以将其总结为华为存储的“四大能量”:
1.技术信念 。 华为在存储和硬盘领域钻研多年 , 是目前业界唯一自研存储控制器、SSD盘和存储芯片的厂商 , 充分了解数据存储的全流程 , 将这些经验应用在NVMe系统中 , 增长迭变速度越来越快;
2.创新意识 。 不断将新的技术、理念、工具融入到存储领域当中 , 全栈采用NVMe、芯片级端到端加速、SCM+分级/缓存技术、智能AI算法FlashLink等等 , 每一次创新都转化为向上攀登的强劲动能;
3.尊重市场 。 无论是人工智能、大数据、自动驾驶、区块链等先进领域 , 还是在医疗、制造、金融等传统行业 , 华为存储对各行业的数据困境都十分尊重 , 全系列NVMe的产品阵列 , 降低了用户使用领先存储技术的门槛 , 提供了更灵活、经济的选择 , 帮助更多企业快速推进数字化转型 。
4.重视人才 。 华为在优秀人才的吸纳上从来都不遗余力 , 在科研上的投入甚至超过了当年的净利润 。 而从任正非的只言片语中我们知道 , 华为至少有700多名数学家 , 800多名物理学家 , 120多名化学家 , 六七千名的基础研究专家 , 6万多名各级高级工程师 。 华为华为18万员工中 , 有将近45%的人在从事基础研究工作 。
从这个角度看 , 华为存储在全球市场的冲锋 , 看似是一场短跑冲刺 , 其实是一场绵延将近20年、砥砺前行的马拉松 。
人类不断向火星发起探索 , 是用梦想自我定义能力上限的过程 。 而华为存储的一次次技术上探 , 其实是源于一个伟大梦想的无限延伸 。
【脑极体|华为的“少年天才”攀登者,出发向智能存储的“奥林帕斯山”】本文为***作者原创 , 未经授权不得转载
推荐阅读
- FGO金枪虞详情:男性特攻绿卡单体,第二个充能金卡单体枪
- SUV|美国再拉黑38家华为子公司!升级打压华为获取商用芯片
- 里卡多·高拉特|高拉特秒变全能战士!华夏幸福有他会赢球了,泰达要玩死阿奇姆彭
- 不起眼的朗姐|和老人出去旅游,为什么会觉得心累?网友:只要老妈身体允许以后还要带她去,哈哈哈哈
- 新个体经济为啥这么"火" 分享也是一项"严肃创业"
- 粤游记|旅游就该诗酒趁年华,带你一起到东京,我们玩点不一样的!
- 8月,似水年华,旧情回来,3生肖再次邂逅旧情人,情在心间未走远
- 师范毕业生|我国将推进师范毕业生免试认定教师资格改革
- 老刘品车|近250万元的顶级超豪华座驾全新宾利添越,外观变得非常有力量感
- 萌妹说车|7月豪华车销量盘点:奔驰夺冠,凯迪拉克没落,红旗,蔚来出色