江苏龙网

  1. 首页 > 人文 > >

产业气象站|2020投稿一览：提交过万，算法一骑绝尘，“直拒率”达11%，NeurIPS


产业气象站|2020投稿一览：提交过万，算法一骑绝尘，“直拒率”达11%，NeurIPS
文章图片
今日 ， 神经信息处理系统大会NeurIPS在Medium官方账号发布了文章《ReviewingisUnderway!》 ， 对今年的投稿情况和审稿流程进行了说明 。
产业气象站|2020投稿一览：提交过万，算法一骑绝尘，“直拒率”达11%，NeurIPS
文章图片
文章中提到 ， 今年的NeurIPS投稿数量比2019年增长了38% ， 这又是AI研究蓬勃发展的一年 。
具体而言 ， 一共收到了12115份摘要 ， 但随后提交完整的只有9467份 。 另外还有184篇论文有违规行为：被作者撤回、非匿名提交以及论文篇幅超过最大页数等 。
其它“遵守纪律”的论文都已经分配给了领域主席以及Senior领域主席 ， 这两类主席在对这些论文简单的浏览之后 ， 进行了初步判断：占总数11%的论文被直接拒掉 ， 其他89%的论文分配给了合适的审稿人 。 值得一提的是 ， 这89%对应的具体数字8186 。
另外 ， 文章中还强调 ， 这直接被拒掉的11%的论文 ， 将不会再次接受审阅 。
1
论文提交情况今年NeurIPS的论文提交流程主要有三个日期节点 ， 它们期间间隔两周多 。 三个节点分别是：1、提交摘要；2、完整的论文和完整的作者名单；3、补充材料 。
在这三个节点中 ， 同行评审平台CMT都很给力 ， 作者在提交的过程中几乎没有遇到任何技术困难 ， 当然 ， 也不能如此绝对 ， 例如要求合著者在CMT上注册 ， 要求提交“更广泛的影响” ， 要求单独上传补充材料 ， 这些都产生了一些小问题 。 但总的来说 ， 提交过程进行的非常顺利 。
今年的论文主题分布也有所变化 ， 算法占比29% ， 深度学习占比19% ， 应用占比18% ， 强化学习和规划（planning）占比9% ， 理论占比7% ， 概率方法占比5% ， 机器学习的社会方面（Socialaspectsofmachinelearning）占比5% ， 优化占比5% ， 神经科学和认知科学占比3% 。 与2019年相比 ， 深度学习和应用领域的论文略有下降(均下降了2%) ， 而机器学习的社会方面有所增加（增加了3%） 。
2
审稿人名单和论文分配找到足够数量的合格审稿人非常重要 ， 今年在这方面的政策有两个变化：1、审稿人可以推荐和提名；2、直接从论文的作者以及论文的联合作者中选择审稿人 。
最后根据论文发表情况、审稿经验、学科领域等信息 ， 组委会“选拔”了7800名合格的审稿人名单 ， 其中2400人来自今年的投稿作者 。
7800名审稿人看似极大的增强了论文审阅能力 ， 但许多审稿人只分配了2篇或者3篇的额度 ， 还有一些审稿人只有一个领域的专业知识 ， 这两种情况的都限制了分配审阅论文的能力 。
每一篇论文都会经过三位审稿人 ， 一位领域主席的“批改” 。 为了提升分配质量 ， 需靠考虑的因素包括学科领域相似度、出版物的相似度、审稿人的偏好 。 但是同时也考虑审稿人和领域主席是否存在利益冲突 。
因此 ， 组委会努力确保每个人在论文匹配系统(TPMS)和OpenReview上都有最新的账户 ， 完整地记录了他们的利益冲突信息 。 另外 。 组委会还设法自动为审稿人分配论文 ， 今年平均亲和度得分(综合考虑TPMS和OpenReview的指标)为0.74 ， 比2019年高出近10% 。
3
直接拒绝在过去的三周中 ， 组委会指派领域主席和Senior领域主席承担“直接拒绝”的任务 。 其中领域主席识别可能被拒绝的论文 ， Senior领域主席反复核对这些论文 。 因此 ， 每一篇被直接拒绝的论文 ， 都有两位资深的专家“签字” 。 值得一提的是 ， 为了降低偏见 ， 这两位专家是看不到论文作者的信息 。
总体而言 ， 领域主席和Senior领域主席做的非常出色 ， 他们在不到三周的时间里审阅了9000多份论文 ， 另外 ， 领域主席和Senior领域主席还为作者提供了一套标准化的拒绝原因(例如 ， 不清晰、超出范围)等 。 此外 ， 在收到的“拒绝建议”中 ， 超过一半还提供了简短的特别反馈 ， 进一步解释了拒绝的原因 。


推荐阅读


上一篇：中国青年网|360手机卫士为隐私安全保驾护航，315晚会曝光SDK泄露隐私

下一篇：北晚新视觉网|会员费坑位费层出不穷，揭露直播带货背后的套路：先刷单再退货