• 元宇宙:本站分享元宇宙相关资讯,资讯仅代表作者观点与平台立场无关,仅供参考.

CVPR和ICLR双榜公布,最离谱审稿人竟然没读论文!

  • 新智元
  • 2022年1月29日12时



新智元报道

编辑:好困 LRS

【新智元导读】随着顶会论文越收越多,审稿人手又不够,所以分配到的审稿人也是良莠不齐。最近CVPR 2022论文陆续放榜,不过审稿意见的质量似乎和中稿结果有非常强的相关性。


1月25日,CVPR 2022的审稿结果已经开始陆续放出。
截至北京时间1月25日早上5点,共有6427位审稿人给出了25801个评审意见,包括2104位紧急审稿人的3066个紧急评审意见。
官方表示,rebuttal已经可以在CMT上提交,截止日期为北京时间2月1日下午3:59。

而ICLR这边则已经放出最终的结果,其中,有54篇论文中了Oral,176篇Spotlight,865篇Poster。


「吐槽大会」又来了!


作为知乎上的一项全面运动,机器学习顶会评审一出,必然会引发热烈的讨论。
对此,网友@Lunarnai表示可以简单概括为5种类型:
不过,这其实还不够全面,回复里还有各种来「吸欧气」的。(手动狗头)
说到审稿,这届顶会从AAAI 2022开始就可谓是一言难尽。
第一个审稿人说论文中实验不全,缺少标准baseline,但实际上这是个外行审稿人,并不了解该领域的具体研究方法。并且论文中已经提交了开源代码,审稿人却仍然要求上传代码和数据。
第二个审稿人更离谱,一路good和excellent下来,最后还是给拒绝掉了。写的很好,下次不要再写了?
拒绝的理由也很奇葩,实验很充足,结果也很好,但是实验结果的解释不够。审稿人提出的唯一问题竟然是问论文中提到的模型结构是什么。
经历分享出去也是引起广泛的共鸣,「熟悉的盲人审稿」,「不该投AAAI」等等。
虽然被拒稿并不是一件丢人的事,但审稿人的意见毫无价值,根本没有帮助作者改进论文质量。
而CVPR 2022差不多可以理解为经典的「活动复刻」。
网友表示,有些审稿人在写意见之前都不读论文的吗?
不仅评审意见讲不通,写的英文还有好几处错误,最后非常自信地打了个5。
另一位审稿人也表示,自己收到的意见只有一个是心服口服的,其他的也是难以言喻:
  • 明明放了匿名代码链接说没代码的
  • 说没比较的关键实验就是我用的baseline
  • 有一个审稿人问的问题全在补充文件而且多次在正文里强调了
  • 说加的一个新的backbone实验和之前的一个方法对比不公平,事实上之所以加这个backbone就是因为他提到的方法加了这个backbone,看来平时看文献也不仔细
  • 有部分审稿意见,就是审稿人懒得审稿,写一句话所有文章都能用
是不是感觉这段很眼熟?
国外的网友也深表同感:「这届审稿人是我遇到过最差的。显然,他们对评审的主题一无所知,而且还在评论中出现了非常尴尬的混淆。」
不过,分低至少还能用rebuttal救一救,就怕这位评审大人大手一挥strong reject,但又没告诉你为啥。
网友@磊哥玩枪吐槽说,我这个评审,评论就一句话,然后给了个5,你告诉我怎么rebuttal?
但到底还是有心态好的。
一位网友表示:「3444,赢! 但又没完全赢,但是赢了。其他人认为我没赢,但也没输。但是我觉得我赢了,不过也没有完全赢。」

ICLR,尘埃落定


另一边ICLR 2022的录用结果也是「几家欢喜几家愁」。

本届ICLR 2022会议共收到了3325篇有效投稿,投稿的平均分为4.93(+- 1.15) ,作为对比,ICLR 2021 rebuttal后的平均分为5.37( +- 0.96)。
数据显示,31篇投稿的平均分为8分,39篇投稿得到最高分10分,没有1篇投稿得到两个以上的10分。
对于中稿的人来说,论文的价值得到了同行的认可,绝对是一件值得庆祝的事。
加州大学伯克利分校EECS博士生Dhruv Shah的论文被接收后表示,「ICLR的rebuttal过程依然是最有成效和高效的审阅周期,并且作为论文作者和审稿人共同提升投稿论文质量非常令人满意」。
MIT CSAIL的博士后研究员和ETH博士Octavian Ganea、DeepMind的研究科学家Petar Velickovic各自都有两篇论文被ICLR 2022接收,主题涉及蛋白质对接、材料和图表示学习的进展。
他们都表示,「ICLR不愧是我最喜欢的会议,继续看好ICLR」!
但对于没中稿的人来说,也不要灰心,当下审稿机制也要背一部分锅。
网友@Domates93表示,「我们的论文被拒,给出的理由没有讨论一篇相关论文,但我们确实讨论了。可笑的是,这篇相关论文是我们论文的主要baseline。」
有人建议写信给PC,但曾有过相同经历的「不幸者」认为这样做没用,PC只会对审稿人的决定表示遗憾。
网友@pastimenang的被拒理由是「过于高估了 ICLR 参与者对偏微分方程(PDE)解的数值方法的理解」。
最离谱的是网友@Stochastic_Machine,他表示,「审稿人甚至没有读我的论文。他的评审意见是基于我提交至另一会议的旧版本论文,给出了非常低的分。」

CVPR,从交稿就开始「渡劫」


2021年11月16号,CVPR官方推特提醒:「CVPR 2022论文提交截止日期为2021年11月16日,就是今天(太平洋时间晚上11:59,北京时间11月17号下午15:59)」。
祝大家好运!
然而没想到的是,CVPR官方论文的提交网站的运气可不怎么好。
在即将截止前的1个小时,突然404了。
11月17号下午六点,CVPR官方消息终于放出。
「由于CMT的问题,CVPR 2022论文提交截止日期已延长至2021年11月18日太平洋标准时间上午11:59(原始消息称太平洋夏令时,实际上应为太平洋标准时间)。这一消息也将通过CMT与作者交流」。
11月18号凌晨,CVPR官方确认论文已经可以开始提交:「由于MicrosoftCMT网站在CVPR 2022截止日期前的最后一个小时关闭,我们的项目主席决定将论文提交截止日期延长至太平洋标准时间2021年11月18日上午11:59(北京时间11月19号凌晨3:59)。CMT提交网站正在备份和接受提交」。
接着,CVPR公布了MicrosoftCMT崩溃背后的原因:「CMT通知我们,截止日期前几个小时CVPR 2022的论文提交速率过大,服务器分配不足导致了最终的网站崩溃」。
至此,这场宕机风波总算结束了,赶deadline的同学悬着的心终于放下来了。
不过,CVPR就怕你放松,还来个友情提示:明天就不要在最后一刻才提交论文了,早点提交不就啥事都没有了!
正如你可能亲身经历的那样,在原定的CVPR 2022提交截止前的一小时,CMT提交系统无法承受负荷宕机了。正因为如此,我们决定将提交截止日期延长36小时,至太平洋时间2021年11月18日星期四上午11:59。
所有提交给CVPR 2022的论文必须在该时间之前上传至CMT。通过电子邮件发送给程序主席的论文不会被考虑。请不要通过电子邮件向我们发送您的论文。

参考资料:

https://www.zhihu.com/question/502566228

https://www.reddit.com/r/MachineLearning/comments/sbznkq/d_cvpr_reviews_are_out/

https://www.zhihu.com/question/512610921

https://www.jiqizhixin.com/articles/2022-01-21-4



Copyright © 2021.Company 元宇宙YITB.COM All rights reserved.元宇宙YITB.COM