一項ICLR拒稿結果讓AI研究者集體破防，紛紛刷起小丑符號。

爭議論文為Transformer架構挑戰者Mamba，開創了大模型的一個新流派。發布兩個月不到，后續研究MoE版本、多模態版本等都已跟上。

但面對ICRL給出的結果，康奈爾副教授Alexander Rush都表示看不懂怎么回事了，“如果這都被拒了，那我們小丑們還有什么機會”。

在評論區和轉發區，不少研究者帶上小丑面具前來報道。

具體來說，四位審稿人打出8/8/6/3的分數，這樣被拒很多人就已經覺得不正常。

其中一位審稿人提的問題是“有沒有訓練更大的模型，和10b參數的Transformer比較如何？”。

對此，有人表示已經開始向審稿人提及實驗成本了。

審稿人可能不知道他們要求的實驗會花費50000美元。

ICLR會議創辦的初衷正是優化同行評審過程，LeCun作為會議創始人之一，也表達了不滿：

很遺憾，歷屆程序委員會主席慢慢把它變成了一個與傳統評審流程差不多的會議。

只有一些小勝利：OpenReview平臺現在被大多數ML/AI會議使用，以及論文提交后立刻就能被所有人閱讀（盡管匿名）。

LeCun還舉例自己也有一篇從未被接受、ArXiv獨占的論文，現在被引用次數已超過1880次。

也有研究者認為，這次很多高分被接受論文與Mamba比起來充其量只能算增量研究，更令人遺憾了。

這屆ICLR混亂重重

先來借用給6分審稿人的意見，簡單介紹一下Mamba論文的主要貢獻。

• 提出了基于SSM狀態空間模型的新架構，可實現Transformer質量的性能，同時線性縮放序列長度。
• 提出了一種硬件感知算法，通過掃描而不是卷積來循環計算模型，避免具體化擴展狀態以減少內存使用。
• 將先前的深度序列模型架構簡化為同構架構，具有快速推理、線性縮放和改進的長序列性能。
• 在多種模態（語言、音頻和基因組學）上都取得SOTA性能，成為跨模態通用序列模型主干的有力候選者。

但這位審稿人提出的二次內存需求問題，不少熟悉這篇論文的人都表示不認可。

對此，作者也在Rebuttal中給出了解釋，內存需求實際上是隨序列長度線性增長的。

另外一位打3分的審稿人，還被吃瓜群眾指出可能根本不熟悉什么是RNN。

作者針對這位審稿人的Rebuttal太長，足足分了4條才發完。

然鵝，這位對自己評分給出5級置信度的審稿人，根本沒有回復。

這就讓人更擔心會不會影響領域主席的判斷了。

正如這位研究者所說，這屆ICLR出現的爭議還不止一例。

8/8/6/3如果被拒還算事出有因，知乎相關討論上還有得分8/8/8被AC拒，就更離譜了。

還有作者和審稿人吵起來，以至于要討論禮貌問題的。

投稿接不接收全靠隨機？

這也引發了網友們對整體學術評審現狀的討論。其中一個主要討論點是評審過程有缺陷“接不接受真的很隨機，和論文本身的質量關系不大”：

網友也是緩緩打出一個問號：

既然評審流程存在問題，那解決方案是什么？就靠運氣？

對此，康奈爾副教授Alexander Rush甚至還提出了這樣的建議(手動狗頭)：

如果你讀博已經讀到了第六年的那種，應該提交兩篇糟糕的論文，而不是一篇好的。

不只一位學者分享了類似的建議：

我的教授曾說，論文被接受的過程就像擲一個四面骰子，如果這次運氣不好，就再擲一次……

當然，也有人抱有不同的觀點，認為會議作為一種認可，已出名的作品其實已經不需要了，可以給其他未被發掘的論文更多機會，所以已經出名的論文被學術會議拒絕也是完全可以接受的。

值得一提的是，還有不少人建議大家轉投新生代會議CoLM，Alexander Rush自己也參與了這個會議的創辦：

而大家提到的CoLM會議，全稱Conference On Language Modeling，專注于語言模型領域。CoLM剛創立不久，第一屆大會將在今年10月份舉辦。

其中七位組織者均是來自業界學界的大佬，其中有三位是華人學者谷歌周登勇、普林斯頓陳丹琦、Meta的Angela Fan。

與ICLR類似，COLM將采用雙盲審核，并使用OpenReview管理投稿。

會議征稿主題包括但不限于語言建模及大模型語境下的對齊、數據、評估、社會影響、安全、科學、高效計算、工程、學習和推理算法等17個方向。

據說，COLM還是在ACL 2024主席公開抨擊稱“arXiv是科研的毒瘤”而后引發爭論的背景下，催生出來的。

參考鏈接：
[1]https://twitter.com/srush_nlp/status/1750526956452577486。

[2]https://x.com/ylecun/status/1750594387141369891。

[3]https://openreview.net/forum?id=AL1fq05o7H。