论文Science | 人工智能领域很多引人注目的进展并不真实【新智元导读】近

【新智元导读】近日，一名MIT的自由科学家Hutson在Science发文，抨击「人工智能的一些进展并不真实」， MIT研究人员对当前的一些AI论文进行了系统评估后发现，新模型和之前的经典模型结果相差并不大，论文作者宣称的效果提升大部分是旧模型的微小改动，并采用了不同的评价标准。
人工智能似乎变得越来越聪明。每一部 iPhone 都比上一部更好地了解你的面孔、声音和习惯，各种性能的提升真的是来自算法的创新吗？

图片

Matthew Hutson
多数算法改进缺乏创新性
麻省理工学院(MIT)计算机科学专业的研究生戴维斯?布拉洛克(Davis Blalock)表示，有些算法改进来自微调，而不是发明者声称的核心创新，而且有些改进可能根本不存在。
Blalock 和他的同事比较了几十种改进神经网络的方法。「我们梳理了50篇论文，但是我们仍然不知道最先进的技术到底是什么。」
研究人员评估了81种剪枝算法，这些剪枝算法主要是裁剪一些不必要的连接以提高神经网络效率。所有人都都变着法说自己的算法是最好的，但他们很少进行公允的有说服力的比较ーー当研究人员把这些算法放在同一标准下评估时， 10年的时间，并没有什么显著的改善。

图片

以剪枝算法为例，质疑这些论文主要原因有以下几点：
缺乏一个完备的比较。 2010年之前的算法没有加入评估，最近的更新也没有，对比较多的是VGG、ResNet这些经典架构，而最新的EfficientNet则很少。

图片

你用了ImageNet ，好我用CIFAR；什么你也用CIFAR ， RseNet架构？那我用CIFAR和VGG 。。
数据集和神经网络架构都不统一，得出的结论实在很难让人信服。

图片

评价指标不一致，结果描述不完整。仅从效率和准确率无法评估出模型的对比效果。只有一篇论文使用了标准差来评估整体的趋势。

图片

还有一点就是大家用的数据预处理方法、超参数的调整策略，使用的框架，剪枝和微调介入的时期等都没有统一，这些都会导致结果的不同。比如同样的算法，有些PyTorch的实现就比TensorFlow的好，当然反过来也有可能。

图片

水论文到底在玩什么把戏？
今年三月份在MLSys上公布的结果让 Blalock 的博士导师，麻省理工学院的计算机科学家 John Guttag 感到惊讶，「这种不平衡的比较本身就可以解释为什么停滞不前了」。这是老一套了，对吧?
从当前主流的机器学习架构来看，机器学习算法的收益主要来自其结构、损失函数或优化策略的根本性变化。
卡内基梅隆大学的计算机科学家 Zico Kolter 研究图像识别模型，该模型被训练后可以对黑客的「对抗性攻击」免疫。
一种早期的对抗性训练方法投影梯度下降法(PGD)，现在一些更复杂的方法看似超越了PGD ，但是在二月份的 arXiv 论文中， Kolter 和他的同事们发现，只需要一个简单的技巧来增强PGD ，所有这些方法的效果都差不多。

图片

论文灌水成风，但剪枝算法建议别发了
网友对如今AI论文灌水之风也是颇有微词，比如NIPS2018入选千篇。

论文Science | 人工智能领域很多引人注目的进展并不真实

推荐阅读

袋泡红茶怎么样泡才好喝

【潇湘名医】遏制关键通路才是制胜关键，治疗类风湿关节炎

宝宝几岁分房睡比较好呢?

上海市闵行区人民政府网站|区人社局联合云南省保山市开展“网络直播”技能培训

怎么样选购一台存储照片和视频为主的电脑

大连|大连小伙笑对再进隔离区热出花癣斑：打败我的是天真热！

装修工16楼作业不慎弄脏业主衣服被对方割断安全绳

少年的你经典句子，写进作文加10分少年的你经典短句

「黄磊」原来，孙红雷和黄磊对《极限挑战》造成的伤害这么大！

三弄车汇|15万选什么车？哈弗F7x还是领克02？读完你就清楚了

山东鲁能■前鲁能队长仅比郑智小1岁，辗转效力7队，曾被汪嵩索要15元快递费

[走私]警方突袭走私仓库，发现10架共轴旋翼直升机，居然是纯手工打造

医院|女子花6万做隆胸，结果“像放了两块石头”！美容医院：不退钱

作者1047841▲快讯！广东省气象台发布明（27日）起未来三天天气预报

女人戴手表的3大禁忌女生的手表应该戴在左手还是右手

台湾地区流■被造谣患新冠肺炎，台北市长柯文哲今正常工作并直率回呛

「钢铁侠」漫威：毁灭地球需要用多久？美国队长用1个月，钢铁侠用1天，他仅用1秒！

[辅助训练]分清主次，辅助训练只能是辅助！

欢愉驿站|发现规律后，粉丝笑了，《月上重火》罗云熙哭戏太虐人

名字中逸的寓意逸的寓意