ICLR 全稱為國際學習表征會議（International Conference on Learning Representations），今年將舉辦的是第十一屆，將于 5 月 1 日至 5 日在盧旺達首都基加利線下舉辦。

在機器學習社區中，ICLR 是較為「年輕」的頂級學術會議，它由深度學習巨頭、圖靈獎獲得者 Yoshua Bengio 和 Yann LeCun 牽頭舉辦，2013 年才剛剛舉辦第一屆。不過 ICLR 很快就獲得了學術研究者們的廣泛認可，被認為是深度學習的頂級會議。在 Google Scholar 的學術會議 / 雜志排名中，ICLR 目前排名第十位，要高于 NeurIPS。

據今年 2 月份公布的接收數據，在今年的接收統計中， ICLR 共接收近 5000 篇投稿，整體接收率為 31.8%，接近于去年的 32.26%。今年還有一個變化是接收論文的 tag 會有兩個，一個是論文類型（oral、spotlight、poster），另一個是 presentation 的方式。

位于 top5% 論文內容涉及 Transformer、in-context learning、擴散模型等內容。

在近日公布的獲獎論文中，共有 4 篇論文獲得杰出論文獎，5 篇論文獲得杰出論文獎提名。其中，來自北京大學的張博航、羅勝杰、王立威,、賀笛共同獲得一篇杰出論文獎，清華大學孔祥哲、中國人民大學高瓴人工智能學院黃文炳、清華大學劉洋共同獲得一篇杰出論文獎提名。

杰出論文獎

• 論文 1：Universal Few-shot Learning of Dense Prediction Tasks with Visual Token Matching
• 作者：Donggyun Kim, Jinwoo Kim, Seongwoong Cho, Chong Luo, Seunghoon Hong
• 機構：KAIST、微軟亞研
• 論文鏈接：https://openreview.net/pdf?id=88nT0j5jAn

該論文提出了一種用于密集預測任務的少樣本學習 pipeline，密集預測任務包括語義分割、深度估計、邊緣檢測和關鍵點檢測等。該研究提出了一個簡單的統一模型，可以處理所有密集預測任務，并包含多項關鍵創新。該研究將激發密集預測的進一步發展，所提方法 —— 例如視覺 token 匹配、情景（episodic）元學習 —— 可以用于相關的多任務學習問題。

• 論文 2：Rethinking the Expressive Power of GNNs via Graph Biconnectivity
• 作者：張博航, 羅勝杰, 王立威, 賀笛
• 機構：北京大學
• 論文鏈接：https://openreview.net/pdf?id=r9hNv76KoT3

該論文基于雙連通性（biconnectivity）提出一種 GNN 表達性度量新指標。具體來說，該研究提出了一種利用節點間距離的新算法，并在合成數據和真實數據中進行了演示。該研究表明：雙連通性問題在理論和實踐中都有著廣泛的潛在應用。 

• 論文 3：DreamFusion: Text-to-3D using 2D Diffusion
• 作者：Ben Poole, Ajay Jain, Jonathan T. Barron, Ben Mildenhall
• 機構：谷歌研究院、加州大學伯克利分校
• 論文鏈接：https://openreview.net/pdf?id=FjNys5c7VyY

該論文提出了一種基于文本生成 3D 模型的有效方法，而無需 3D 模型作為訓練數據。該論文的關鍵思想是利用本生成圖像的擴散模型，并通過將誤差信號反向傳播到 3D 模型的神經輻射場來生成 3D 模型。該方法是 SOTA 圖像生成和 3D 建模的巧妙組合，在實踐中效果極好，并將啟發各種后續工作，包括基于文本的 3D 視頻生成。

• 論文 4：Emergence of Maps in the Memories of Blind Navigation Agents
• 作者：Erik Wijmans, Manolis Savva, Irfan Essa, Stefan Lee, Ari S. Morcos, Dhruv Batra
• 機構：佐治亞理工學院、Meta AI 等
• 論文鏈接：https://openreview.net/pdf?id=lTt4KjHSsyl

該論文基于認知科學和機器學習的跨學科方法，讓僅具備自我運動（egomotion）（不具備其他任何感知）的導航智能體學得有效表征，并實現有效導航。該研究對表征學習具有重要意義。

杰出論文獎提名

除了 4 篇杰出論文，ICLR 2023 還有 5 篇論文獲得杰出論文獎提名。

• 論文 1：Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning
• 作者：Zeyuan Allen-Zhu, Yuanzhi Li
• 機構：Meta、MBZUAI
• 論文鏈接：https://openreview.net/pdf?id=Uuf2q9TfXGA

該論文試圖從一個新的理論視角來理解知識蒸餾。作者認為對于自然的多視圖結構，沒有蒸餾的情況下神經網絡只能訓練為僅依賴于部分特征，而蒸餾可以緩解這個問題。這篇論文提供了證明這一點的簡化示例，有助于人們更好地理解知識蒸餾的有效性。

• 論文 2：Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning
• 作者：Anton Bakhtin, David J Wu, Adam Lerer, Jonathan Gray, Athul Paul Jacob, Gabriele Farina, Alexander H Miller, Noam Brown
• 機構：Meta AI、MIT
• 論文鏈接：https://openreview.net/pdf?id=F61FwJTZhb

該論文的主題是多回合、多階段、多人游戲的算法開發，提出使用一種類似于自我對弈（self-play）的策略來找到游戲均衡（equilibrium）狀態，并在一個受人類玩家歡迎的復雜多人棋盤游戲上測試了該算法。其中，將尋求平衡的策略與行為克隆相結合。

• 論文 3：On the duality between contrastive and non-contrastive self-supervised learning
• 作者：Quentin Garrido, Yubei Chen, Adrien Bardes, Laurent Najman, Yann LeCun
• 機構：Meta AI 等
• 論文鏈接：https://openreview.net/pdf?id=kDEL91Dufpa

在自監督學習領域，各種方法似乎沒有任何共同點，但在實踐中卻表現相似。該論文對各種自監督學習方法進行了分析探究，發現了它們的共同點。該論文展開研究了一些流行的自監督學習方法，證明其提出的理論能用于實際方法。這篇論文對自監督學習領域具有重要意義。

• 論文 4：Conditional Antibody Design as 3D Equivariant Graph Translation
• 作者：孔祥哲，黃文炳，劉洋
• 機構：清華大學計算機系，清華大學智能產業研究院，中國人民大學高瓴人工智能學院，北京智源人工智能研究院
• 論文鏈接：https://openreview.net/pdf?id=LFHFQbjxIiP

抗體設計是藥物研發的一個重要問題，具有重要的應用前景。本文提出一種基于等變圖神經網絡的抗體設計方法 MEAN，在給定抗原、抗體重鏈和輕鏈的條件下，實現了抗體 CDRs 的設計和優化。與以往方法不同，MEAN 不但考慮了更全的「上下文信息」，而且能直接生成抗體 CDRs 的 1D 氨基酸序列及其 3D 構象，具有更高效率。在多個數據集的完整實驗上，MEAN 顯著優于已有方法。論文有望為后續濕實驗研究提供一種高效的算法工具。

• 論文 5：Disentanglement with Biological Constraints: A Theory of Functional Cell Types
• 作者：James C. R. Whittington, Will Dorrell, Surya Ganguli, Timothy Behrens
• 機構：斯坦福大學、牛津大學、UCL
• 論文鏈接：https://openreview.net/pdf?id=9Z_GfhZnGH

該研究受生物學啟發，揭示了機器學習和神經科學之間有趣的聯系，并從數學上證明機器學習中的約束會導致線性網絡解纏結（disentanglement）。該研究還通過實驗表明，相同的約束對于非線性情況也是有效的。總的來說，這項研究從數學的角度對單個神經元和大腦結構給出了更深層的理解。