江苏龙网

  1. 首页 > 人文 > >

数码实验室|Adam又要“退休”了？耶鲁大学团队提出AdaBelief( 二 )


数码实验室|Adam又要“退休”了？耶鲁大学团队提出AdaBelief
文章图片
时间序列建模
在PennTreeBank数据集上 ， 用LSTM进行实验 ， AdaBelief都实现了最低的困惑度 。
数码实验室|Adam又要“退休”了？耶鲁大学团队提出AdaBelief
文章图片
GAN
在WGAN和WGAN-GP上的实验表明 ， 经AdaBelief训练的结果都得到了最低的FID 。
数码实验室|Adam又要“退休”了？耶鲁大学团队提出AdaBelief
文章图片
网友质疑
【数码实验室|Adam又要“退休”了？耶鲁大学团队提出AdaBelief】虽然AdaBelief在多个任务上取得了不错的效果 ， 但该方法还是遭到不少网友质疑 。
因为这些年来号称取代Adam的优化器不计其数 ， 但最终获得时间检验的却寥寥无几 。
网友首先质疑的是实验baseline的选取问题 。
有人认为 ， 在CIFAR上 ， 很难相信2020年SOTA模型的准确率低于96％ ， 因此AdaBelief论文最终在选取baseline时有可能是选择了与不太好的结果进行比较 。
在ImageNet测试的表2里 ， 为什么要使用ResNet18代替更标准的ResNet50？而且AdaBelief不是最优结果 ， 却用加粗方式标出 ， 容易让人产生误解 。 绝妙的技巧是将提出的方法的得分加粗 。
另外 ， 还有人在作者未测试的NLP任务上进行实验 ， 很快AdaBelief就“崩溃”了 ， 而SGD能够很好地收敛 。
数码实验室|Adam又要“退休”了？耶鲁大学团队提出AdaBelief
文章图片
AdaBelief不会是最后一个意图取代Adam的优化器 ， 它的泛化能力究竟如何 ， 还有待更多研究者进一步地检验 。
项目地址：https://juntang-zhuang.github.io/adabelief/
论文地址：https://arxiv.org/abs/2010.07468
代码地址：https://github.com/juntang-zhuang/Adabelief-Optimizer
—完—
量子位QbitAI·头条号签约作者
关注我们 ， 第一时间获知前沿科技动态


推荐阅读


上一篇：客家小小彬|全新5G处理器，跑分超54万的旗舰芯片，界读丨天玑1000+

下一篇：左手时尚右手家庭|负债73亿，关千家店，总部大楼被出租！，又一服装巨头“陨落”