江苏龙网

  1. 首页 > 人文 > >

SOTA论文也未必能被接收，谷歌科学家谈顶会审稿标准

选自evjang.com
作者：Eric Jang
机器之心编译
编辑：Panda
【SOTA论文也未必能被接收，谷歌科学家谈顶会审稿标准】数据集过于简单、只在一两项指标上达到 SOTA、没有充分说明之前的研究都可能成为你论文被拒的原因 。
SOTA论文也未必能被接收，谷歌科学家谈顶会审稿标准文章插图
会议论文评审已经成为了人工智能和机器学习领域的热门争议话题 ， 既有审稿人在线吐槽论文注水严重 ， 半成品太多 ， 也有投稿人网上喊冤 ， 质疑审稿人的资格和敬业程度 。 纷纷扰扰之中 ， 也许一个重要的原因是论文评审缺乏明晰的标准 ， 严重依赖审稿人的主观判断 。 近日 ， 谷歌 Robotics 研究科学家 Eric Jang 基于他十多场会议和研讨会的审稿经验 ， 罗列了审稿人在评审论文时可能会考虑的标准 ， 然后他说明了自己个人的审稿标准 。 这虽然只是一位审稿人的个人看法 ， 但如果审稿人都能公开说明自己的审稿标准 ， 当前会议论文评审方面的争议之声大概也会小一些 。
审稿人到底会考虑哪些标准？
NeurIPS 2020 已经公布了论文的收拒情况：在收到的 9454 篇论文中 ， 有 1900 篇被接收（接收率为 20%） 。 接收详情请参阅《NeurIPS 2020 放榜 ， 接收率史上最低！AC：低接收率带不来有趣的论文》 。 不管接收结果如何 ， 都要祝贺各位辛苦研究取得了成果 。
机器学习研究者大概都知道 ， NeurIPS 和其它一些会议的接收决定就像是一种经过加权的掷骰子游戏 。 在这个被称为「学术出版」的剧场中 ， 评议五花八门 ， 因为每个审稿人在机器学习论文方面都有各自的偏好（随便一提 ， 现在的学术出版也与实际的研究有些脱节） 。
审稿人可能会考虑以下标准：
正确性：这是科学论文的最低要求 。 论文中给出的主张在科学上是否正确？作者是否注意了不在测试集上进行训练？如果一篇论文提出了一种新算法 ， 作者是否给出了让人信服的证据说明该算法有效的原因就是其给出的原因？
新信息：你的论文必须要能为这一领域贡献新知识 。 这个新知识可能是新算法、新的实验数据或某种解释现有概念的不同方法 。 甚至综述论文也应该包含一些新信息 ， 比如某个可以统一多个独立研究成果的全面视角 。
适当的引用：论文中应该包含一个相关研究部分 ， 其中说明了该研究与之前的研究的联系以及当前研究的新颖之处 。 某些审稿人会直接拒收没有充分说明之前的研究或与之前的研究没有足够区别的论文 。
当前最佳结果（SOTA）：审稿人通常对论文有这样两个要求：（1）提出了一种新算法 ， （2）在某个基准上实现了 SOTA 。
不能「只是」 SOTA：没有人会因为你取得了 SOTA 而惩罚你 ， 但某些专家不仅希望看到在某项基准上取得突破 ， 比如在列表中一两项指标上的突破 。 一些审稿人甚至还会打击该领域这种「追逐 SOTA」的文化 ， 他们会认为这样的研究「创新不足」或「只是增量式研究」 。
简洁性：很多研究者都表示支持「简单的思想」 。 但是 ， 「你的简单思想」和「你对其他人的简单思想的简单扩展」是两码事 ， 虽然两者之间的区别并不总是明显 。
复杂性：某些审稿人认为没有给出任何新方法或漂亮的数学证明的论文是「简单琐碎的」或「不严谨的」 。
清晰度和可理解性：某些审稿人关心所提出的算法的机制细节以及对机器学习的进一步理解 ， 而不只是得到更好的结果 。 这与「正确性」紧密相关 。
是否「激动人心」：NeurIPS 2020 的领域主席之一 Julian Togelius 提到 ， 他拒绝许多论文的原因就只是它们不够激动人心 。 只有 Julian 自己知道什么样的论文能打动他的心 ， 不过我认为他的意思是在选择研究课题和解决方案上「有良好的品味」 。
SOTA论文也未必能被接收，谷歌科学家谈顶会审稿标准文章插图


推荐阅读


上一篇：三星Galaxy W21 5G折叠屏新机已获通信部认证

下一篇：编程之前都需要做哪些准备工作