Science：AI领域那么多引人注目的「进展」，竟是无用功( 二 )
Kolter 表示 ， 研究人员更愿意开发新算法并进行微调 ， 使之超越原有的 SOTA 结果 。 原有的方法看起来没那么新颖 ， 因此「更难据此写出论文」 。
Guttag 认为 ， 即使算法的发明者也很难全面地对比自己的工作与其他方法 ， 因为万一其突破并不像他们以为的那样呢 。 「太认真地对比会有风险」 ， 而且实现难度颇大：AI 研究者使用不同的数据集、调试方法、性能度量指标和基线 。 「要做到一一对应的比较很不现实 。 」
一些夸大的性能表述可能要归因于该领域的爆炸式发展 ， 论文数量比有经验的评审还要多 。 「其中大量论文读起来是种煎熬 ， 」Blalock 说道 。 他敦促审稿人使用更多的对比方法来进行评判 ， 并表示更好的工具或许能起到一定的帮助 。 今年初 ， Blalock 的共同作者、MIT 研究人员 Jose Gonzalez Ortiz 推出了一款名为 ShrinkBench 的软件 ， 可以更便捷地比较剪枝算法 。
本文插图
研究人员指出 ， 即使新方法本质上不如旧方法好 ， 但它们实现的调整说不定也可以用到之前的方法上 。 偶尔也会出现真正突破性的新算法 。 「这很像是一个风险投资组合 ， 」Blalock 说道 。 「即使一些投资不赚钱 ， 但总有能够获得回报的 。 」
原文链接：https://science.sciencemag.org/content/368/6494/927
推荐阅读
- 科学家■如果宇宙由奇点大爆炸而来，那么奇点又是如何来的？
- 历史将军令|而是将人性看透了，为何郭嘉会算得那么准？他不是神
- 王者小数点|好友之间SOLO机关道谁更强！一血用婉儿，持久靠橘子，那么拆塔呢
- 我国多地现大型海兽 专家一调查发现这只海兽没那么简单
- 产业气象站 为什么ASML的EUV光刻机产量那么低？，一年才生产几十台
- 长安观察|“港独”书籍下架，去殖民化首当从精神领域刮骨疗毒
- 私生饭|吴京能打赢职业散打运动员吗？青城派掌门如此回答：跨领域比较不科学
- 响品有约|那么茶叶适合摆摊吗？，当下地摊经济好
- 直播吧|巴恩斯谈复赛：若你离开家人那么久 那必须要让这段征程有价值
- 女性|独家调查！年收入12~20万人群感觉最幸福！那么，哪个年龄段的人感觉最幸福？答案亮了