ICLR 2025審稿正式開啟了，預計截止到11月3日。

而且，每位審稿人最多被分配到3篇論文，就是為了讓大家深思熟慮去撰寫高質(zhì)量反饋。

圖片

與2024年一樣，今年論文提交數(shù)量再創(chuàng)新高！

ICLR 2025共有11000多篇論文提交，同比增長61%。ICLR 2024同比增長47%。

圖片

如此多的論文，究竟該怎么審？如何獲得建設性、高質(zhì)量同行評審？

而且，論文提交數(shù)增加，對評審員需求也會增加，往往導致評審質(zhì)量不一致問題。

對此，ICLR官方竟引入了「評審反饋智能體」（review feedback agent），讓AI去識別審查中的問題，并向審稿人反饋改進。

更有意思的是，很少發(fā)聲的Bengio轉發(fā)了ICLR 2025官博，繼續(xù)征集不同于學術論文的投稿形式——博客文章。

而且，截止日期就到11月16日。

圖片

ICLR頂會每年舉辦一次，2025年將是第13屆年會，于4月24日-28日將在新加坡舉辦。

圖片

今年頂會，著實有些不同。

官方讓AI來參與審稿了

鑒于投稿數(shù)那么多，ICLR 2025也是想要借AI洪荒之力解難了。

圖片

不過，不是讓AI完全審稿。

目的是為了，讓AI幫助審稿人的評審結果，更具建設性、可操作性。

為此，ICLR使用了多個大模型設計出反饋系統(tǒng)，就是為了將化覺降到最低，提高反饋質(zhì)量。而且，該系統(tǒng)已經(jīng)在ICLR 2024評審意見上，進行了測試。

「評審反饋智能體」將就審稿中可能存在的三類問題，提供建議。

圖片

ICLR 2025官方組委會通過匯編公眾評論，并評估了以往ICLR審稿確定了這三類問題：

- 鼓勵審稿人改寫含糊的評論，讓其對作者更具可操作性；

- 突出文章中可能已經(jīng)回答了審稿人一些問題的部分；

- 在評審中，發(fā)現(xiàn)并處理不專業(yè)、不恰當?shù)难哉摗?/span>

圖片

如下，是由AI為以上三種類別標記的評論的示例，并給出一個示例反饋。

首先，第一種提升準確性。

以往幾屆，不論是哪個頂會，都會被作者們吐槽的一個問題是——審稿人太糊弄了。

一句話——這篇論文還應提供更多實驗數(shù)據(jù)，直接給了低分。

而這次，審稿人這種模棱兩可的評論，就要被AI「打回去」了。

AI會給審稿人提供一種建議：

如果能提出您認為必須包括的具體基線，將會很有幫助。您是否認為目前的比較缺少某些方法？能否詳細說明原因？

圖片

其次，內(nèi)容明確。

當審稿人評論稱，「在圖4中，Transformer的效率實驗沒有結果，這是一個關鍵的限制因素」。

而論文中，可能包含了這個結果，只是審稿人沒有注意到。

AI這時便會明確告訴他，圖5回答了這個問題。

圖片

最后，針對不恰當評論。

比如，審稿人會說，「作者完全不知自己想要做什么」。

AI會建議道，「我們感謝您的評論，但懇請您將評論重點放在論文的具體內(nèi)容和方法上，而不是對作者發(fā)表個人意見」。

AI不會取代審稿人

官方表示了，智能體系統(tǒng)不會取代任何人類審稿人，而且也不會撰寫審稿評論，或直接對評論自動編輯。

相反，它將作為一個助手，提供可選的反饋。審稿人可以選擇接納，或者忽略。

與以往的ICLR頂會一樣，每一份提交的論文皆由人類審稿人獨立進行反饋，最終的「接收」決定，將由ACS、SAS和審稿人做出。

而且，AI將為隨機選擇的一部分初始評審提供反饋，以便進行比較并評估其影響。

圖片

在評審意見對作者公開之前，審稿人將有機會更新他們的評審（如果愿意的話）。

AI一般在提交評審后的幾小時內(nèi)，向審稿人提供建議。對后續(xù)的審稿人回應將不再提供反饋，審稿人與反饋系統(tǒng)之間也不會有進一步的互動。

此外，反饋只對評審員和ICLR項目主席可見；不會與其他評審員、作者或區(qū)域主席（AC）分享，也不會影響錄用決定。

審稿人太多了

據(jù)官方統(tǒng)計，今年有15249位審稿人，824位AC，以及71位高級AC。

圖片

由于邀請了太多的審稿人，導致許多人盡管收到了電子郵件通知，卻沒有收到任何評審的論文。

圖片

還有人指出，自己看到審稿人的自定義最大論文數(shù)（custom-max-papers）設置為0，本應無法分配到論文，但他們卻被分配了一篇論文。這是怎么回事？

圖片

目前，這些問題還待ICLR去解決。

博客文章，也能提交

延續(xù)之前的傳統(tǒng)，今年ICLR頂會繼續(xù)批準提交博客類型的文章。

提交的文章，需要符合以下要點：

- 回顧過去的工作并總結結果，提出新的直覺，或指出一些不足之處

- 對現(xiàn)有的機器學習概念或技術提出新穎的觀點或解釋

- 從新的角度討論機器學習中的重要問題，如可復現(xiàn)性

- 分析機器學習和人工智能最新進展的社會影響

- 你嘗試過但未成功的有趣研究想法

圖片

去年被接收的博客文章，感興趣的童鞋可作參考。

圖片

參考資料：

https://x.com/Yoshua_Bengio/status/1846197032966385867

https://blog.iclr.cc/2024/10/09/iclr2025-assisting-reviewers/