江苏龙网

  1. 首页 > 人文 > >

「新智元」Deadline逼死人？深度学习大佬Bengio吐槽几十年会议老规矩


「新智元」Deadline逼死人？深度学习大佬Bengio吐槽几十年会议老规矩
本文插图
新智元报道
来源：yoshuabengio.org
编辑：白峰
作为 NeurIPS 顾问委员会和 ICLR 委员会的成员 ， Bengio 这些年来一直在参与这些学术会议的举办 ， 之前曾多次参与会议委员会的讨论 ， 以提高会议的水准和投稿体验 ， 也制定了一些举措 ， 但这些举措都是治标不治本 ， 未能有效改善会议论文的质量 。
“所以我一直在想 ， 我们是否需要重新思考一下机器学习领域的论文发表流程 。 ”
论文讲究时效性 ， 你想了一个 idea ， 写了论文 ， 但是有些会议或者期刊投稿是有收稿时限的 ， 可能长达几个月才能完成评审过程 ， 而 arXiv 则没有这些限制 ， 随时都可以发表 。 一些研究者习惯先将其论文上传至 arXiv ， 再提交予专业的会议或者学术期刊 。
“我的团队常在 NeurIPS、ICML 和 ICLR 上发表论文 ， 此外也会在一些计算机视觉和自然语言处理的会议上发表论文 ， 这意味着平均每两个月左右就要经历一轮追赶 Deadline 的体验 。 ”
NeurIPS 是机器学习领域的顶级会议 。 投稿人数在同类会议中是最多的 ， 吸引了机器学习几乎所有领域的研究人员 ， 并在工业和其他计算领域具有很高的知名度 。
ICML 和 NeurIPS 体量和知名度相近 ， 也是关注基础计算理论方面的内容多一些 。
ICLR 更专注深度学习方面的研究内容 ， 大多数 ICLR 的论文都在研究深度学习领域的数据表征 。
论文增长速度超摩尔定律
机器学习领域的规模正在呈指数型增长 ， 竞争氛围更强烈 ， 节奏更快 ， 如今一个博士生在毕业前发表的论文数量 ， 比二三十年前的博士生多了一半不止 ， 攀比论文数量之风盛行 。 在 Deadline 的追赶下 ， 许多论文是内容没有经过充分的论证就提交了 ， 可见在现行的机制下 ， 既有时间在催促 ， 又有数量在压迫 ， 因此研究者很难产出高质量的内容 。
谷歌著名计算机科学家 Jeff Dean 去年曾在推特上分享了最近 AI 论文发表数量的趋势 。 arXiv 上关于机器学习的学术论文每 18 个月增加一倍 ， 大有赶超摩尔定律的趋势 。
「新智元」Deadline逼死人？深度学习大佬Bengio吐槽几十年会议老规矩
本文插图
Bengio 谏言论文投稿设置软截止
Bengio 也和 NeurIPS 委员会讨论了目前各大会议存在的弊端：
缺乏审稿激励 ， 使一些优秀的审稿人不能充分参与其中；
鼓励增量工作 ， 研究者会过于重视数量；
各个会议内容重合度太高（尤其是 NeurIPS、ICML 和 ICLR） ， 所以很多研究者会一稿多投 ， 审稿消耗大量的社区资源；
推荐首先将论文提交给一个快速流转的期刊（比如 JMLR、arXiv） ， 然后让各个大会的程序委员会从中选取论文 ， 使该领域的研究者能够同步共享这些信息；
用一个隐式的软截止时间（implicit soft deadline）来替代 Deadline ， 研究者就会有动力继续改进自己的工作 ， 直到这项工作被打磨得更好 。
科学无止境但需要时间思考
“我认为 ， 有价值的、重要的研究进展是需要一个过程的 ， 需要一些时间去深入思考 ， 需要后退一步去小心地求证 。 压力会对科研的质量造成负面影响 ， 因此 ， 是时候思考慢科学（Slow Science）了 。 ”
慢科学宣言（节选）
“Science needs time to think. Science needs time to read, and time to fail. Science does not always know what it might be at right now. Science develops unsteadi-ly, with jerky moves and un-predict-able leaps forward—at the same time, however, it creeps about on a very slow time scale, for which there must be room and to which justice must be done.”


推荐阅读


上一篇：「geear时尚」新的一年替手机也换上新衣：这些时髦的iPhone手机壳！

下一篇： 「建筑」我的世界：真实存在的建筑，引发你的视觉错位，你能看出细节吗？