江苏龙网

  1. 首页 > 资讯 > 资讯 > >

MLPerf|征服全球最严AI测试，性能飙升三倍！浪潮AI服务器如何做到？( 二 )


▲浪潮NF5488A5在数据中心和边缘端场景基准测试打破性能纪录次数
MLPerf|征服全球最严AI测试，性能飙升三倍！浪潮AI服务器如何做到？
文章图片

在此次基准测试中 ， 浪潮AI服务器NF5488A5在开放优化(Open)和固定任务(Closed)的ResNet50基准性能测试中 ， 均表现优异 。 在焦点赛道ResNet50基准性能测试中 ， NF5488A5表现出了54.9万/秒的推理性能 ， 相比2019年MLPerf推理榜单的全球最好成绩性能提升高达3倍 。
▲MLPerf ResNet50推理性能2019 VS 2020对比
MLPerf|征服全球最严AI测试，性能飙升三倍！浪潮AI服务器如何做到？
文章图片

在短短一年的时间内 ， 如此高倍的性能提升令人惊叹 ， 而更让人为之称奇的是 ， NF5488A5已经量产 ， 并非仅作为高端产品参与测试 。
1年时间 ， 18项纪录 ， 3倍性能提升 ， 这些数字不止支撑着浪潮新一代AI服务器在MLPerf中问鼎AI“机王” ， 也代表着浪潮AI服务器在技术积累上的充足底气 。
二、是单个软硬件的性能PK ， 也是整机系统优化的性能考验
NF5488A5是浪潮在MLPerf中大展光彩的“功臣” 。 NF5488A5单机训练性能可达5 PetaOPS ， 相比浪潮上一代服务器计算性能提升234% 。
在最新公布的 MLPerf推理测试榜单中 ， 浪潮NF5488A5问鼎 AI 推理基准测试 18项纪录 ， 全面覆盖图像分类、目标检测、自然语言理解、智能推荐等场景 。 其中在ResNet50模型推理任务处理达到每秒处理54.9万多张图片的推理性能；Bert 自然语言理解推理任务达 26675 条/秒；DLRM 智能推荐每秒推理处理能力达 210 万条 。
在7月 MLPerf公布的训练测试榜单中 ， NF5488A5仅用时33.37分钟 ， 就在包含 128 万张图片的 ImageNet数据集上完成ResNet50模型的训练 ， 相当于每秒训练 23000多张图片 ， 单机计算性能高居第一 ， 可谓是最快人工智能训练服务器 。
NF5488A5是此次MLPerf全球竞赛中唯一可以在4U空间内支持8块安培架构A100芯片实现NVLink高速互联的AI服务器 。
浪潮NF5488A5在系统拓扑上采用了超低延迟设计 ， 支持PCIe 4.0全链路极致优化 ， 高频通信单元采用一级拓扑最近连接 ， 最大限度提升处理器到AI芯片间的通信性能 。
同时 ， 通过配置NUMA节点 ， 确保每颗处理器与其直连的GPU之间通信性能最优 ， 最大限度降低通信延迟 。 此外 ， NF5488A5通过深度优化系统结构设计 ， 确保设备可在高环温下稳定运行 。
在用户体验方面 ， 用户会在稳定性和性能两方面体会到浪潮最新一代AI服务器的不同 。 即使在35摄氏度的环温下 ， NF5488A5也能稳定高性能的运行 。 NF5488A5是一款通用服务器 ， 可以支持各类流行的AI应用场景 ， 如计算机视觉、语音识别、智能客服等 。
三、系统优化是核心竞争力
早在今年4月 ， 浪潮首席科学家王恩东提出了“智算中心”的概念 ， 并表明围绕智算中心打造AI算力生产、聚合、调度、释放的四大关键作业模式 。
▲浪潮首席科学家王恩东提出“智算中心”
MLPerf|征服全球最严AI测试，性能飙升三倍！浪潮AI服务器如何做到？
文章图片

浪潮技术负责人对智东西说：“如果要想把硬件性能完全发挥出来 ， 仅考虑芯片的性能是不够的 ， 需要考虑服务器系统优化 。 以A100 GPU为例 ， 将8块A100 GPU都放在一个服务器中 ， 如果不解决它的散热问题 ， GPU可能运行几分钟频率就降下来了 ， 应用性能就会很糟糕 。 此外 ， GPU之间、CPU与GPU之间的互联、内存等都会对深度学习的推理和训练性能有比较大的影响 。 浪潮目前在服务器整机的设计优化能力是业界领先的 。 ”
从2012年浪潮初步布局AI服务器 ， 到2017年4月浪潮成立AI&HPC产品部并正式迈入AI产业 ， 再到今年浪潮的AI服务器创造了全球最快性能纪录 ， 8年的时间 ， 这其中的每一个脚印都印刻着浪潮在硬件、软件及整机上的技术积累 。
结语：AI服务器落地两步走
浪潮NF5488A5 AI服务器一举打破 18 项 MLperf 推理性能纪录 ， 展示出我国自主服务器头部玩家在AI这条路上越走越宽、越走越稳 。
在浪潮看来 ， AI算力的多元化支持将会是AI服务器发展的一个主要趋势 。 AI产业目前正处于落地阶段 ， 首先要将AI算法赋能到用户的实际业务场景中 ， 随后通过软硬件协同优化持续提升用户的AI应用性能 。
【MLPerf|征服全球最严AI测试，性能飙升三倍！浪潮AI服务器如何做到？】从浪潮在 MLperf 中的表现来看 ， 浪潮已在产业AI化中占据了有利位置 ， 我们也期待浪潮与其他玩家一起加速推进产业AI化进程 。


推荐阅读


上一篇：果然悠|如果新农合断缴了怎么办？有什么影响？听听老农怎么说！

下一篇：儿童|62岁老人猥亵孙子同学，你的掉以轻心成了他们的帮凶