這幾天，AI屆的盛會(huì)——ICLR在維也納舉辦。

OpenAI、Meta、谷歌、智譜AI等世界前沿AI科技企業(yè)齊聚一堂。

現(xiàn)場(chǎng)名流云集，星光耀眼，走幾步就能偶遇一位發(fā)過(guò)顛覆性paper的大咖。

毫無(wú)意外地，ICLR 2024展廳也變成了追星現(xiàn)場(chǎng)。熱鬧的氣氛，快把屋頂掀翻了。

現(xiàn)場(chǎng)追星圖靈巨頭

圖靈三巨頭中的著名「e人」LeCun，提前就在X上大方公布出自己的行程，滿懷期待地等著和粉絲們相見(jiàn)了。

在評(píng)論區(qū)，不僅有粉絲激動(dòng)打卡，甚至還有準(zhǔn)備現(xiàn)場(chǎng)遞簡(jiǎn)歷的。

粉絲們果然不虛此行，在現(xiàn)場(chǎng)，LeCun口若懸河地講解，熱情的觀眾們?cè)谥車纬擅軐?shí)的包圍圈。

言歸正傳，在整個(gè)ICLR活動(dòng)上，Meta團(tuán)隊(duì)將分享25余篇論文和兩個(gè)研討會(huì)。這次，LeCun團(tuán)隊(duì)在ICLR上發(fā)表了以下兩篇論文。

論文地址：https://arxiv.org/abs/2305.19523

論文地址：https://arxiv.org/abs/2311.12983

另一位圖靈巨頭Yoshua Bengio，也顯示了自己的超高人氣。

現(xiàn)場(chǎng)觀眾總結(jié)道：「一個(gè)人真的需要在他的領(lǐng)域中做到獨(dú)一無(wú)二，才能讓他的會(huì)議室外排起如此長(zhǎng)的隊(duì)伍！」

此前LeCun和Hinton都對(duì)此發(fā)表過(guò)言辭激烈的意見(jiàn)，Bengio的態(tài)度似乎一直比較模糊，迫不及待想知道他對(duì)于AGI是什么看法了。在即將到來(lái)的5月11日，他就會(huì)在一場(chǎng)關(guān)于AGI的Workshop中發(fā)表演講。

值得一提的是，Bengio團(tuán)隊(duì)也在今年的ICLR上獲得了杰出論文榮譽(yù)提名。

論文地址：https://openreview.net/pdf?id=Ouj6p4ca60

谷歌Meta隔壁，智譜AI也在

現(xiàn)場(chǎng)，谷歌開源模型Gema、機(jī)器人智能體背后框架Robotics Transformers，以及其他開創(chuàng)性的研究一并呈現(xiàn)。

緊挨著Meta和谷歌，展廳中間有一家非常亮眼的公司——智譜AI。

現(xiàn)場(chǎng)的童鞋正為大家介紹GLM-4、ChatGLM等一系列研究成果。

這一系列展示，引起了眾多國(guó)外學(xué)者的圍觀。

現(xiàn)場(chǎng)的近兩千名與會(huì)嘉賓和學(xué)者，認(rèn)真聽了GLM大模型技術(shù)團(tuán)隊(duì)的介紹。

介紹內(nèi)容包括了GLM系列大模型的多項(xiàng)前沿研究成果，涵蓋數(shù)學(xué)、文生圖、圖像理解、視覺(jué)UI理解、Agent智能體等領(lǐng)域。

在現(xiàn)場(chǎng)，大家熱烈討論起了對(duì)Scaling Law的看法。而GLM團(tuán)隊(duì)，對(duì)此也有獨(dú)到見(jiàn)解——

「相比模型大小或訓(xùn)練計(jì)算量，智能涌現(xiàn)和預(yù)訓(xùn)練損失有更加緊密的聯(lián)系。」

比如，著名的OpenAI 996研究員Jason Wei，認(rèn)真讀過(guò)智譜AI這篇講預(yù)訓(xùn)練損失的論文后，表示十分贊嘆。

論文中，團(tuán)隊(duì)通過(guò)訓(xùn)練30+個(gè)不同參數(shù)和數(shù)據(jù)規(guī)模LLM，評(píng)估了其在12個(gè)中英文數(shù)據(jù)集上的表現(xiàn)。

論文地址：https://arxiv.org/abs/2403.15796

結(jié)果觀察到，只有當(dāng)預(yù)訓(xùn)練損失低于某個(gè)閾值時(shí)，LLM會(huì)出現(xiàn)涌現(xiàn)能力。

而且，從預(yù)訓(xùn)練損失的角度定義「涌現(xiàn)能力」，效果優(yōu)于僅依賴模型參數(shù)或訓(xùn)練量。

智譜AI的此番表現(xiàn)，也讓越來(lái)越多外國(guó)網(wǎng)友意識(shí)到——

19歲獲得博士的Stability AI研究主任Tanishq表示，CogVLM這類最有競(jìng)爭(zhēng)力、為開源生態(tài)做出重大貢獻(xiàn)的開源基礎(chǔ)模型，就是來(lái)自中國(guó)。

這位游戲工作室的前CEO，去年就開始用CogVLM和Stable Diffusion做完整的開源版本了。

是的，自CogVLM自發(fā)布之后，其強(qiáng)大的能力便引起了外國(guó)網(wǎng)友的驚呼。

在今年1月的LLM排行榜中，也有人發(fā)現(xiàn)——

當(dāng)時(shí)Gemini和GPT-4V遠(yuǎn)遠(yuǎn)領(lǐng)先于任何開源LLM，唯一一個(gè)例外，就是CogVLM。

可見(jiàn)，這波國(guó)產(chǎn)大模型出海，智譜AI已經(jīng)悶聲不響地在國(guó)外建立了自己的巨大影響力。

特邀演講

展廳精彩演示之外，今年的ICLR，共邀請(qǐng)了七位特邀演講嘉賓，分享他們對(duì)AI的見(jiàn)解。

有來(lái)自谷歌DeepMind的研究科學(xué)家Raia Hadsell，佐治亞理工學(xué)院副教授&FAIR首席科學(xué)家Devi Parik，有來(lái)自馬克斯·普朗克計(jì)算機(jī)科學(xué)研究所（MPI-SWS）的主任Moritz Hardt，唯一一家中國(guó)團(tuán)隊(duì)是智譜AI 的GLM 大模型技術(shù)團(tuán)隊(duì)。

Raia Hadsell

谷歌DeepMind科學(xué)家Raia Hadsell的演講題目是——「在人工智能發(fā)展的起伏過(guò)程中學(xué)習(xí)：通向AGI道路上的意外真理」。

經(jīng)過(guò)數(shù)十年的穩(wěn)定發(fā)展和偶爾的挫折后，AI正處在一個(gè)關(guān)鍵的拐點(diǎn)。

AI產(chǎn)品已經(jīng)爆炸式地進(jìn)入主流市場(chǎng)，我們還未觸及到scaling紅利的天花板，因此整個(gè)社區(qū)都在探討下一步的方向。

在這次的演講中，基于20多年在AI領(lǐng)域的經(jīng)驗(yàn)，Raia探討了我們對(duì)AGI發(fā)展之路的假設(shè)，如何隨時(shí)間發(fā)展而變化。

與此同時(shí)，她還揭示了，在這個(gè)探索的過(guò)程中，我們得到的意外發(fā)現(xiàn)。

從強(qiáng)化學(xué)習(xí)到分布式架構(gòu)，再到神經(jīng)網(wǎng)絡(luò)，已經(jīng)在科學(xué)領(lǐng)域發(fā)揮著潛在的革命性作用。

Raia認(rèn)為，通過(guò)汲取過(guò)去的經(jīng)驗(yàn)教訓(xùn)，可以為AI未來(lái)的研究方向提供重要的洞見(jiàn)。

Devi Parikh

另一邊，F(xiàn)AIR首席科學(xué)家Devi Parik給所有人講述了，自己生活中的故事。

從演講題目可見(jiàn)略知，Parik的分享內(nèi)容，非比尋常。

在ICLR大會(huì)上，在解釋為什么技術(shù)環(huán)境是現(xiàn)在這個(gè)樣子時(shí)，大家會(huì)重點(diǎn)針對(duì)互聯(lián)網(wǎng)、大數(shù)據(jù)和算力的發(fā)展，展開討論。

然鵝，鮮有人關(guān)注那些微小，但重要的個(gè)人故事。

其實(shí)，每個(gè)人的故事，都可以匯聚成為推動(dòng)技術(shù)進(jìn)步的重要力量。

通過(guò)這種方式，我們可以彼此學(xué)習(xí)，相互激勵(lì)。這讓我們?cè)谧非竽繕?biāo)時(shí)，更加堅(jiān)韌和高效。

Moritz Hardt

德國(guó)MPI-SWS主任Moritz Hardt帶來(lái)了「新興的科學(xué)基準(zhǔn)」的演講。

顯然，基準(zhǔn)測(cè)試成為機(jī)器學(xué)習(xí)領(lǐng)域的「核心支柱」。

自20世紀(jì)80年代以來(lái)，雖然人類在這個(gè)研究范式下取得了諸多成就，但對(duì)其深層次的理解仍然有限。

在此次演講中，Hardt通過(guò)一系列選定的實(shí)證研究和理論分析，探索基準(zhǔn)測(cè)試作為一門新興科學(xué)的基本原理。

他具體討論了標(biāo)注錯(cuò)誤對(duì)數(shù)據(jù)質(zhì)量的影響、模型排名的外部驗(yàn)證性，以及多任務(wù)基準(zhǔn)測(cè)試的前景。

與此同時(shí)，Hard還展示了許多案例研究。

這些挑戰(zhàn)了我們的傳統(tǒng)看法，還突顯了發(fā)展科學(xué)基準(zhǔn)測(cè)試的重要性和益處。

GLM Team

中國(guó)這邊，智譜AI的GLM大模型技術(shù)團(tuán)隊(duì)，也帶來(lái)了「ChatGLM通往AGI之路」的精彩演講。

值得一提的是，這也是國(guó)內(nèi)「首次」在國(guó)際頂級(jí)會(huì)議上展示大模型相關(guān)的主題演講。

這次演講，首先從中國(guó)的角度，介紹AI在過(guò)去幾十年的發(fā)展歷程。

同時(shí)，他們以ChatGLM為例，闡述自身在實(shí)踐過(guò)程中獲得的理解和洞見(jiàn)。

2024 AGI前瞻：GLM 4.5、 GLM-OS、 GLM-zero

在ICLR上，GLM大模型團(tuán)隊(duì)介紹了面向AGI的GLM三大技術(shù)趨勢(shì)。

通往AGI的必經(jīng)之路在哪里？

業(yè)界對(duì)此意見(jiàn)不一。有人認(rèn)為是智能體，有人認(rèn)為是多模態(tài)，有人說(shuō)，Scaling Law是通往AGI的必要非充分條件。

而LeCun堅(jiān)持認(rèn)為，LLM是通往AGI的一條歧路，靠LLM帶不來(lái)AGI。

對(duì)此，團(tuán)隊(duì)也提出了自己的獨(dú)特觀點(diǎn)。

首先，他們講到了GLM-4的后續(xù)升級(jí)版本，即GLM-4.5及其升級(jí)模型。

GLM-4的后續(xù)升級(jí)版，將基于超級(jí)認(rèn)知（SuperIntelligence）和超級(jí)對(duì)齊（SuperAlignment）技術(shù)，同時(shí)在原生多模態(tài)領(lǐng)域和AI安全領(lǐng)域有長(zhǎng)足進(jìn)步。

GLM大模型團(tuán)隊(duì)認(rèn)為，在通往AGI的路上，文本是最關(guān)鍵的基礎(chǔ)。

而下一步，則應(yīng)該把文本、圖像、視頻、音頻等多種模態(tài)混合在一起訓(xùn)練，變成一個(gè)真正的「原生多模態(tài)模型」。

同時(shí)，為了解決更加復(fù)雜的問(wèn)題，他們還引入了GLM-OS概念，即以大模型為中心的通用計(jì)算系統(tǒng)。

這一觀點(diǎn)，與Karpathy此前提出的大模型操作系統(tǒng)的觀點(diǎn)，不謀而合。

在ICLR現(xiàn)場(chǎng)，GLM大模型團(tuán)隊(duì)詳細(xì)介紹了GLM-OS的實(shí)現(xiàn)方式：

基于已有的All-Tools能力，再加上內(nèi)存記憶（memory）和自我反饋（self-reflection）能力，GLM-OS有望成功模仿人類的PDCA機(jī)制，即Plan-Do-Check-Act循環(huán)。

具體來(lái)說(shuō)就是，首先做出計(jì)劃，然后試一試形成反饋，調(diào)整規(guī)劃然后再行動(dòng)以期達(dá)到更好的效果。

依靠PDCA循環(huán)機(jī)制，LLM便可以自我反饋和自主進(jìn)化——恰如人類自己所做的一樣。

此外，GLM大模型團(tuán)隊(duì)還透露，自2019年以來(lái)，團(tuán)隊(duì)就一直在研究名為GLM-zero的技術(shù)，旨在研究人類的「無(wú)意識(shí)」學(xué)習(xí)機(jī)制。

「當(dāng)人在睡覺(jué)的時(shí)候，大腦依然在無(wú)意識(shí)地學(xué)習(xí)。」

GLM大模型團(tuán)隊(duì)表示，「無(wú)意識(shí)」學(xué)習(xí)機(jī)制是人類認(rèn)知能力的重要組成部分，包括自我學(xué)習(xí)、自我反思和自我批評(píng)。

人腦中存在著「反饋」和「決策」兩個(gè)系統(tǒng)，分別對(duì)應(yīng)著LLM大模型和內(nèi)存記憶兩部分。

因此，GLM-zero的相關(guān)研究將進(jìn)一步拓展人類對(duì)意識(shí)、知識(shí)、學(xué)習(xí)行為的理解。

盡管還處于非常早期的研究階段，但GLM-zero可以視為通向AGI的必經(jīng)之路。

而這，也是GLM大模型團(tuán)隊(duì)首次向外界公開這一技術(shù)趨勢(shì)。

國(guó)內(nèi)頂流技術(shù)團(tuán)隊(duì)

2020年底，GLM大模型技術(shù)團(tuán)隊(duì)研發(fā)了GLM預(yù)訓(xùn)練架構(gòu)。

2021年訓(xùn)練完成百億參數(shù)模型GLM-10B，同年利用MoE架構(gòu)成功訓(xùn)練出收斂的萬(wàn)億稀疏模型。

2022年還合作研發(fā)了中英雙語(yǔ)千億級(jí)超大規(guī)模預(yù)訓(xùn)練模型GLM-130B并開源。

而過(guò)去一年里，團(tuán)隊(duì)幾乎每3-4個(gè)月，就完成一次基座大模型的升級(jí)，目前已經(jīng)更新到了GLM-4版本。

不僅如此，作為國(guó)內(nèi)最早入局LLM公司，智譜AI曾在2023年就設(shè)立了一個(gè)雄心勃勃的目標(biāo)——全線對(duì)標(biāo)OpenAI。

GLM大模型技術(shù)團(tuán)隊(duì)構(gòu)建了基于AGI愿景的完整大模型產(chǎn)品矩陣。

在GLM系列之外，還有CogView文生圖模型、CodeGeeX代碼模型，多模態(tài)理解模型CogVLM，再到GLM-4V多模態(tài)大模型和All-Tools功能以及AI助手智譜清言。

與此同時(shí)，GLM大模型技術(shù)團(tuán)隊(duì)的研究人員，在業(yè)界有著極高的影響力。

比如，圈里爆火的李飛飛主講斯坦福大學(xué)CS25課程，每次都會(huì)邀請(qǐng)Transformer研究前沿的專家，分享自己的最新突破。

而目前已經(jīng)確定，CS25課程的嘉賓中，就有來(lái)自智譜AI的研究員。

CogVLM

團(tuán)隊(duì)開發(fā)的開源視覺(jué)語(yǔ)言模型CogVLM，一經(jīng)發(fā)布就引發(fā)了業(yè)界關(guān)注。

3月Stability AI公布的一篇論文就顯示，因性能太出色，CogVLM直接被Stable Diffufion 3拿來(lái)做圖像標(biāo)注了。

論文地址：https://arxiv.org/abs/2403.03206

CogAgent

在此基礎(chǔ)之上，基于CogVLM改進(jìn)的開源視覺(jué)語(yǔ)言模型CogAgent，主要針對(duì)的是用戶圖形界面GUI的理解。

而CogAgent的相關(guān)論文，已經(jīng)被國(guó)際計(jì)算機(jī)視覺(jué)領(lǐng)域級(jí)別最高的學(xué)術(shù)會(huì)議CVPR 2024收錄。

要知道，CVPR以錄取嚴(yán)格著稱，今年論文錄取率只有約2.8%。

論文地址：https://arxiv.org/abs/2312.08914

ChatGLM-Math

針對(duì)LLM解決數(shù)學(xué)問(wèn)題，GLM大模型團(tuán)隊(duì)提出了「Self-Critique」的迭代訓(xùn)練方法。

即通過(guò)自我反饋機(jī)制，幫助LLM同時(shí)提升語(yǔ)言和數(shù)學(xué)的能力。

論文地址：https://arxiv.org/abs/2404.02893

這一方法，包含了兩個(gè)關(guān)鍵步驟：

首先訓(xùn)練一個(gè)從LLM本身生成「Math-Critique」模型，以評(píng)估模型生成數(shù)學(xué)問(wèn)題答案，并提供反饋信號(hào)。

其次，通過(guò)拒絕采樣微調(diào)和DPO，利用新模型對(duì)LLM自身的生成進(jìn)行監(jiān)督。

GLM大模型團(tuán)隊(duì)還設(shè)計(jì)了MATHUSEREVAL基準(zhǔn)測(cè)試集，以評(píng)估新模型數(shù)學(xué)能力，結(jié)果如下：

顯而易見(jiàn)，新方法顯著提升了LLM的數(shù)學(xué)問(wèn)題解決能力，同時(shí)仍能提升其語(yǔ)言能力。重要的是，它在某些情況下優(yōu)于參數(shù)量增加兩倍的大模型。

GLM-4躋身全球第一梯隊(duì)

在OpenCompass 2.0基準(zhǔn)測(cè)試中，智譜AI新一代基座大模型的實(shí)力不容小覷。

在總榜排名中，GLM-4位列第三，位居國(guó)內(nèi)榜首。

在不久前SuperBench團(tuán)隊(duì)發(fā)布的《SuperBench大模型綜合能力評(píng)測(cè)報(bào)告》中，GLM-4也躋身全球第一梯隊(duì)。

特別是在最關(guān)鍵的語(yǔ)義理解，智能體能力上，GLM-4更是國(guó)內(nèi)第一，力壓一眾競(jìng)爭(zhēng)對(duì)手。

剛剛過(guò)去的大模型元年，熱鬧非凡的百模大戰(zhàn)打了一年。

2024年，若想化身為AGI元年，全世界大模型團(tuán)隊(duì)還有很長(zhǎng)的路要走。