江苏龙网

  1. 首页 > 人文 > >

谷歌谷歌TPU训练BERT只要23秒，华为AI芯片超英伟达V100，MLPerf出炉


晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI
今天 ， 人工智能行业权威“跑分”MLPerf训练v0.7出炉 ， 这是该跑分推出以来第三次放榜 。
谷歌谷歌TPU训练BERT只要23秒，华为AI芯片超英伟达V100，MLPerf出炉
本文插图
英伟达刚发布的A100 GPU、谷歌即将推出的TPUv4 ， 两个冤家的AI芯片性能孰强孰弱 ， 在这份榜单里都能看到 。
除了两家AI巨头相争 ， 此次也是中国芯片首次在榜单中亮相 ， 来自华为的昇腾910芯片实测成绩曝光 ， 性能一度超越了英伟达同类产品 。 MLPerf测试内容
随着AI技术的进步 ， 今年的测试基准进一步加大了难度 。
MLPerf训练测试基准包括图像分类、翻译、推荐系统和围棋等8个机器学习任务中 ， 最终结果是这8项任务的训练时间 ， 速度越快则性能越强 。
具体的8项任务内容如下：
谷歌谷歌TPU训练BERT只要23秒，华为AI芯片超英伟达V100，MLPerf出炉
本文插图
【谷歌谷歌TPU训练BERT只要23秒，华为AI芯片超英伟达V100，MLPerf出炉】其中后三项是新加入或重新制定的标准：
1、BERT：用Wikipedia语料库训练BERT ， 这是首次将BERT引入MLPerf测试基准 。
2、DLRM：用Criteo AI Lab的Terabyte点击率数据集训练的深度学习推荐模型（DLRM） ， 广泛用于在线购物推荐、搜索结果和社交媒体内容排序 。
3、Mini-Go：之前的MLPerf v0.5和v0.6也有训练围棋的强化学习任务 ， 但却是迷你棋盘 ， 此次v0.7将棋盘扩大为19x19全尺寸 ， 这更能反映研究成果 。
了解过测试内容后 ， 我们来看看各家的跑分成绩 。 BERT训练刷新纪录
今年英伟达和谷歌两家公司都拿出了自己最强的硬件参与竞争 。
英伟达方面 ， 他们打破了16项AI训练测试纪录 ， 而谷歌则表示 ， 自己在全部8项任务中有6项获得了最高成绩 。
谷歌谷歌TPU训练BERT只要23秒，华为AI芯片超英伟达V100，MLPerf出炉
本文插图
得益于两家的激烈竞争 ， AI训练速度有了飞速发展 。 有一些在5年前还需要训练3周的任务 ， 现在只需不到1分钟即可完成 ， 几乎是一年提高一个数量级 。
令人印象最深刻的还是BERT ， 这个NLP模型在刚推出时需要训练3天时间 。
去年 ， 谷歌用1024块TPUv3将训练时间缩短到76分钟 ， 英伟达又用1472个V100 GPU将训练时间进一步减少到53分钟 。
在最新的MLPerf中 ， 英伟达只花了49秒就完成了BERT的训练 ， 他们用了一台包含2048个A100 GPU的超级计算机SuperPOD 。
谷歌谷歌TPU训练BERT只要23秒，华为AI芯片超英伟达V100，MLPerf出炉
本文插图
作为对比 ， 英伟达还表示 ， 谷歌用16个TPUv3训练了56.7分钟才完成 。 （看看 ， 我们才用了不到1分钟！）
然而 ， 实际上谷歌比他们的速度更快 ， 谷歌的一个研究项目使用了4096块TPU芯片 ， 在训练BERT上获得了绝对最高的成绩——23秒！
需要注意的是 ， 这次训练BERT的数据集和去年并不相同 ， 但是把BERT训练时间缩短到半分钟内已经足够惊人 。
谷歌声称 ， 快速训练BERT用的是世界上最快的机器学习训练超算 ， 其内部有4096个TPU v3芯片和数百个CPU主机 ， 所有芯片都通过超快速、超大规模的定制互连进行连接 ， 可提供430PFLOP的峰值性能 。
谷歌谷歌TPU训练BERT只要23秒，华为AI芯片超英伟达V100，MLPerf出炉
本文插图
这台超算在4项任务中都把训练时间缩到半分钟内 。
谷歌谷歌TPU训练BERT只要23秒，华为AI芯片超英伟达V100，MLPerf出炉
本文插图
华为芯片首次亮相


推荐阅读


上一篇：中国|中国最新反击来了！对3个国家3连击，还有一击在路上

下一篇：股东|减持！西麦食品：持股5%以上股东减持251.50万股，比例超过1%