江苏龙网

  1. 首页 > 资讯 > 科技 > >

|ImageNet训练再创纪录，EfficientNet异军突起，ResNet：感受到了威胁( 二 )


论文地址：https://arxiv.org/pdf/2011.00071.pdf
【|ImageNet训练再创纪录，EfficientNet异军突起，ResNet：感受到了威胁】尤洋在推特上表示 ， 这项研究在准确率足够高的前提下 ， 在速度上创造了一个世界记录 。
|ImageNet训练再创纪录，EfficientNet异军突起，ResNet：感受到了威胁
本文插图

EfficientNets是基于有效缩放的新型图像分类卷积神经网络系列 。
目前 ， EfficientNets的训练可能需要几天的时间；例如 ， 在Cloud TPU v2-8节点上训练EfficientNet-B0模型需要23个小时 。
在这项研究中 ， 作者探索了在2048个内核的TPU-v3 Pod上训练EfficientNets的技术 ， 目的是在以这种规模进行训练时可以实现加速 。
作者讨论了将训练扩展到1024个TPU-v3内核、批量大小为65536时所需的优化 ， 例如大批量优化器的选择和学习率的规划 ， 以及分布式评估和批量归一化技术的利用 。
此外 ， 作者还提供了在ImageNet数据集上训练EfficientNet模型的时序和性能基准 ， 以便大规模分析EfficientNets的行为 。
通过优化后 ， 作者能够在1小时4分钟内将ImageNet上的EfficientNet训练到83％的top-1准确率 。
图1展示了对不同TPU内核数 ， EfficientNet-B2和B5训练时间达到的峰值准确率 。 训练时间在分布式训练和评估循环初始化之后立即开始计算 ， 并在模型达到峰值准确率时结束 。
|ImageNet训练再创纪录，EfficientNet异军突起，ResNet：感受到了威胁
本文插图

可以观察到EfficientNet-B2在1024个TPU-v3内核上的训练时间为18分钟 ， top-1准确率为79.7％ ， 全局批处理大小为32768 ， 这表明训练速度明显提高 。
通过在1024个TPU-v3内核上将全局批处理规模扩展到65536 ， 可以在EfficientNet-B5上在1小时4分钟内达到83.0％的准确率 。
表2展示了EfficientNet-B2和B5峰值准确率的基准 ， 这里可以找到准确率的完整基准以及相应的批次大小 ， 作者表示 ， 即使使用全局批次大小 ， 使用他们的方法 ， 也可以在EfficientNet-B5上保持83％的准确率 。
|ImageNet训练再创纪录，EfficientNet异军突起，ResNet：感受到了威胁
本文插图

这项研究至少表明了 ， 在EfficientNet上探索大规模图像分类的快速训练也是一个有希望的方向 。
2方法
将EfficientNet培训扩展到1024个TPU-v3内核会带来很多挑战 ， 必须通过算法或系统优化来解决 。
第一个挑战是随着全局批量规模的增加保持模型质量 。 由于全局批处理规模随用于训练的内核数量而定 ， 因此 ， 必须利用大批量训练技术来保持准确率 。
而在大量TPU芯片上进行训练时也会面临计算瓶颈 ， 不过可以使用Kumar等人提出的分布式评估和批量归一化技术来解决这些瓶颈 。 以下是为扩展TPU-v3 Pod上的EfficientNet训练而探索的优化技术：
大批量优化器
最初的EfficientNet论文使用RMSProp优化器 ， 但众所周知 ， 批量较大时 ， RMSProp会导致模型质量下降 。
通过数据并行性将训练规模扩展到1024个TPU-v3内核 ， 意味着如果保持每个内核的批量大小不变 ， 则全局批量大小必须与内核的数量成比例增加 。 例如 ， 如果我们将每核的批处理大小固定为32 ， 则1024个核上的全局批处理大小将为32768 。
另一方面 ， 如果在扩展到多个核时全局批处理大小是固定的 ， 则每核的批处理大小会降低 ， 导致效率低下和吞吐量降低 。
因此 ， 为了更好地利用每个TPU内核的内存并提高吞吐量 ， 必须使用较大的全局批处理大小 。 使用You等人提出的分层自适应速率缩放（LARS）优化器 ， 能够扩展到65536的批量 ， 同时达到与Tan和Le中报告的EfficientNet基准准确率相似的准确率 。


推荐阅读


上一篇：商业经济观察|雷军正式官宣，数亿米粉猝不及防，失望来得太突然！

下一篇：每日经济新闻|旷视再次高调亮相AI新品“死磕”物流 巨头环伺下机会几何？