谷歌谷歌TPU训练BERT只要23秒,华为AI芯片超英伟达V100,MLPerf出炉( 二 )
另外 , 在训练芯片榜单上 , 我们首次看到了国产芯片的身影 。
中科院深圳先进技术研究所提供了华为昇腾910的测试成绩 , 虽然仅测试了ResNet-50一项 , 但是相同规模的情况下 , 其速度已经超过了英伟达的V100 GPU 。
本文插图
同样使用128个至强白金CPU和512个AI加速芯片 , 昇腾910在ImageNet任务中 , 训练ResNet-50只需1.59分钟 , 而英伟达V100需要2.35分钟 。
华为昇腾910不仅可以运行自研的MindSpore框架 , 也能运行谷歌的TensorFlow框架 。 两者性能差距很小 , 后者的训练时间为1.53分钟 , 比在MindSpore框架上运行时间稍短 。
本文插图
不过 , 从这份榜单中可以看出 , 国产AI芯片任重道远 , 英伟达仍在商业领域占据主导地位 。
参与测试的多家公司使用的均是英伟达GPU , 不久前推出的A100 GPU也迅速得到商用 。 戴尔、阿里、富士通、腾讯、浪潮 , 甚至连谷歌自己 , 都是英伟达的客户 。
而且台积电将停止为华为代工芯片 , 使华为自研AI芯片的未来蒙上了一层阴影 。 谷歌TPUv4泄露
此次MLPerf跑分还泄露了谷歌新一代TPU的性能指标 。
相比两年前的TPUv3 , 谷歌的TPUv4带来平均2.7倍的性能提升 。
本文插图
更可怕的是 , 谷歌23秒训练完BERT使用的是TPUv3 , 而使用256块TPUv4训练BERT的时间是1.82分钟 。
至于更大规模的TPUv4计算集群会带来怎样恐怖的成绩 , 或许只能等谷歌正式发布后才能知晓 。 关于MLPerf
MLPerf是业内首套衡量机器学习软硬件性能的通用基准 , 由图灵奖得主David Patterson联合谷歌和几所著名高校于2018年发起 。
MLPerf基准联盟现有83家成员 , 包括谷歌、英伟达、微软、Facebook、阿里巴巴等73家企业和斯坦福、哈佛、多伦多大学等10所高校 。
本文插图
2018年 , MLPerf发布了首个AI训练测试基准v0.5 , v0.7是第三个AI训练跑分榜单 。 去年 , 该组织还发布过AI推理测试基准v0.5 , 国产芯片阿里含光800曾获得多项第一 。
榜单地址:
https://mlperf.org/training-results-0-7
参考链接:
https://cloud.google.com/blog/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer
https://blogs.nvidia.com/blog/2020/07/29/mlperf-training-benchmark-records/
— 完 —
关注我们 , 第一时间获知前沿科技动态
推荐阅读
- 医生为督促女孩康复训练将其训哭|医生为督促女孩康复训练将其训哭 这是怎么回事?
- 医生为督促女孩康复训练将其训哭|医生为督促女孩康复训练将其训哭 为医生点赞!为女孩加油!
- 医生为督促女孩康复训练将其训哭|感动!医生为督促女孩康复训练将其训哭是怎么回事?真相到底是什么?
- 医生为督促女孩康复训练将其训哭|医生为督促女孩康复训练将其训哭什么情况?背后原因让人泪目
- 将其|医生为督促女孩康复训练将其训哭 详细经由背后原因太暖了
- 医生为督促女孩康复训练将其训哭|医生为督促女孩康复训练将其训哭:流着泪也要锻炼
- 医生为督促女孩康复训练将其训哭|医者仁心!医生为督促女孩康复训练将其训哭
- 「医生为督促女孩康复训练将其训哭」医生为督促女孩康复训练将其训哭:流着泪也要锻炼
- 「医生为督促女孩康复训练将其训哭」医者仁心!医生为督促女孩康复训练将其训哭
- 曼联|队长回归训练;计划外租小将;红魔加入巴西球星争夺——曼联新闻