元學習熱度不再！ICLR 2022投稿趨勢：強化學習榜首，深度學習第二
最近GitHub上一個項目ICLR2022-OpenReviewData爬取了ICLR 2022的所有投稿論文。
總共有3407篇，通過分析發現熱度前50的投稿關鍵詞中，強化學習、深度學習、圖神經網絡排在前三位，并且強化學習和深度學習的投稿數量要遠超其他研究領域，例如對比學習、遷移學習的投稿數量不足強化學習的四分之一。
通過詞云可視化后這種趨勢也一目了然。
通過對標題關鍵詞的單詞進行分析后，可以看到論文使用的詞的差距沒有短語那么大，研究人員更喜歡最喜歡用表示(representation)這個詞，畢竟會議的名字都是International Conference on Learning Representations (ICLR)。
作者在倉庫中放出了爬取論文列表的代碼，不過應該只能在Windows平臺下運行。
首先需要下載一個msedgedriver.exe 的程序，方便模仿瀏覽器的行為進行數據爬取。除了Microsoft Edge外，也可以使用Chromium的driver。
爬取數據大約耗時30分鐘，當然如果不想運行，作者也提供了爬取后的數據。
這個倉庫受到ICLR2021-OpenReviewData數據分析的啟發，通過數據對比可以發現，ICLR 2021的前兩名依然是深度學習和強化學習，只不過位置發生了變換，三四名也是圖神經網絡和表示學習，位次也發生了轉換。在ICLR 2021 中比較火熱的元學習（meta learning），過了一年后熱度也有了明顯的下降。
在ICLR 2021 的所有論文中，平均分為5.367，大部分論文都集中在5-6分，3.8分以下和7分以上都是一件不容易的事。
作者還研究了一下文章的評分和關鍵詞之間的關系，可以發現reviewer的平均評分和關鍵字的頻率之間有很大的關系，要最大限度地提高獲得更高評分的機會，可以使用諸如深度生成模型（deep generative models）或標準化流（normalizing flows）之類的關鍵字。
絕大多數計算機科學會議都使用匿名同行評審，OpenReview 提供一個平臺旨在促進同行評審過程的開放性。論文（元）評論、反駁和最終決定都將向公眾公布。
當然OpenReview這種方式也會促使各位作者更加慎重地投稿自己的論文，防止被公開處刑。
除了上述的簡單分析外，OpenReview 也可以作為更大規模的語料提供給研究者進行研究，研究人員從OpenReview平臺收集了5527份意見書和16853份評論，除此之外還從Google Scholar和arXiv.org的非同行評審版本收集這些提交的引文數據。
https://arxiv.org/abs/2103.05885
ICLR 自2013年開始一直使用OpenReview 平臺進行雙盲評審，每篇論文分配評審后，通常由三名評審員獨立評估一篇論文。在rebuttal之后，評論者可以訪問作者的回復和其他同行的意見，并相應地修改他們的評論。
然后，項目主席為每篇論文撰寫元評論，根據三篇匿名評論做出最終的接受/拒絕決定。每次正式評審主要包括評審分數（1到10之間的整數）、評審員信心水平（1到5之間的整數）和詳細評審意見。官方評論和元評論都在OpenReview平臺上向公眾開放，也可以在OpenReview上發布他們的評論。
論文中爬取了2017年以來的審查數據，因為2017年之前提交的資料太少。雖然利用了雙盲審查過程，但在論文的最終決定之后，還將公布被拒絕掉的作者的身份。
由于提交量的大幅增加，ICLR 2020雇傭了更多的評審志愿者。有人抱怨評審人員的質量嚴重下降（47%的評審沒有在相關領域發表文章）。在其他人工智能會議上，如NIPS、CVPR和AAAI中也觀察到類似的情況。許多作者抱怨他們的意見沒有得到很好的評價，因為指定的非專家評審員缺乏足夠的技術背景，無法理解他們的主要貢獻。
但這些非專家對審查進程有何影響卻沒有一個定量的分析。
對于2017-2019年ICLR，審核人給出1到10之間的審核分數（整數），并要求選擇1到5之間的置信水平（整數）。對于ICLR 2020，評審員在{1,3,6,8}中給出評級分數，并應選擇介于1和4之間的經驗評估分數（類似于置信度分數）。對于2018-2020年，置信度為1和2的重新評估分數可能高于置信度為4和5的審查分數。
2017年ICLR的趨勢不清楚，因為它包含的樣本太少，不具有統計意義。2017-2019年，最低置信水平審查的平均審查分數為5.675，而最高置信水平審查的平均審查分數為4.954。2020年，最低和最高置信水平審查的數字分別為4.726和3.678。
研究結果表明，低置信度的評審員（如1級和2級）傾向于更寬容，因為他們可能對自己的決定沒有信心，而高自信的評審員（如4級和5級）傾向于更強硬和嚴格，因為他們可能對確定的弱點有信心。
下圖中每一點都表示一組具有特定置信水平的評審，點的大小表示該組中評論的相對數量，兩點之間的距離表示兩組之間的評審分數差異。
根據每個評論的情緒分析結果和評論得分的相關性分析中，研究人員將具有相同方面情感組合的評論分組，并計算每組的平均評論分數，并且不考慮接受少于3次審查的群體，因為他們的樣本太少，不具有統計顯著性。
將結果可視化后可以看到，從宏觀角度來看，較高的審查分數通常會帶來更積極的方面，這也是意料之中的。還觀察到，大多數評分高于6分的評論在新穎性、動機和表現方面沒有負面評論，但在相關工作和實驗中可能存在一些缺陷。對論文總體持肯定態度的審稿人可能會對相關工作和實驗提出改進建議，使論文更加完善。演講質量和實驗似乎比其他方面更經常被提及，并且對表達的積極情緒分布更加均勻。這意味著陳述在決策中不起重要作用。
同樣有趣的是，沒有一項審查的所有方面都是積極的或消極的。一篇論文不太可能在所有方面都完美無缺或毫無價值。審稿人也可能對論文更嚴格，對差的論文更寬容。
通過深入了解這些數據，可以得到一些有趣的發現，這些發現有助于理解公眾參與的雙盲同行評審過程的有效性，可能還有助于撰寫論文、審查論文以及決定是否接受論文。
人工智能會議是一個接收范圍廣泛的學科領域。作者經常被要求選擇與他們提交的內容最相關的領域。區域主席可以為某個研究領域的提交做出決策。不同地區可能會收到不同數量的提交，也可能有不同的接受率。項目主席有時會在會議的開幕式上宣布每個區域的提交數量和接受率，這可能以某種方式表明每個區域的受歡迎程度。
但是，按地區進行的分類比較粗糙，需要提供更具體信息的更細粒度的分類。由于OpenReview提供了更詳細的提交信息，可以利用每個提交的標題、摘要和關鍵字來提供更細粒度的聚類結果，并收集每個提交集群的接受率統計數據。
從接收主題上可以觀察到大體上是一個深度學習研究的總體結構及研究主題內部之間的相關性。例如，左側部分的提交內容屬于強化學習領域。
另一個獨立的研究領域是圖形神經網絡（GNNs），作為一個很有前途的領域，它在短短2-3年內變得非常熱門，它通過關注圖形結構將自己與其他領域區分開來。對抗式機器學習（Adversarial Machine Learning）也是一個新的獨立研究領域。
下一個獨立主題是對抗生成網絡（GANs）。但GANs并不是完全獨立的，可以發現許多關于NLP和CV的提交文件也與GANs混合在一起。還觀察到遷移學習與GANs非常接近，因為一些研究已經將遷移學習應用于GANs。右部分中的大多數提交內容都與應用程序相關（例如，視覺、音頻、NLP、生物學、化學和機器人學），它們與DNN優化技術混合在一起，因為在特定的應用領域提出了許多優化來改進DNN。
強化學習、GNNs、GANs、NLP和計算機視覺吸引了超過50%的提交，這些都是當今深度學習研究的熱門話題。
不同課題之間的接受率也存在顯著差異，黑匣子對抗性攻擊（Black-Box Adversarial Attacks）提交的集群接受率最高（53.33%），屬于對抗性機器學習領域。提交的few-shot learning主題的接受率最低（10.53%），屬于強化學習領域。圖神經網絡接受率為26.67%，BERT接受率為27.27%，GANs 接受率為20.18%，強化學習接受率為31.58%。
