大佬之間的關(guān)系，有時真是撲朔迷離。

昨天，有人發(fā)現(xiàn)，OpenAI CEO Sam Altman 已經(jīng)在推特上取關(guān)了 Meta 首席人工智能科學(xué)家 Yann LeCun。

我們很難確定這次取關(guān)發(fā)生的具體時間點，但基本能夠確定事件原因 —— 幾天前，Yann LeCun 在前段時間的一次小型媒體和高管在線聚會上發(fā)表了自己對 ChatGPT 的看法：

「就底層技術(shù)而言，ChatGPT 并沒有什么特別的創(chuàng)新，也不是什么革命性的東西。許多研究實驗室正在使用同樣的技術(shù)，開展同樣的工作。」

在 ZDNet 的「ChatGPT is 'not particularly innovative,' and 'nothing revolutionary', says Meta's chief AI scientist」報道中，LeCun 演講的一些細節(jié)被披露出來。其中有一些很驚人的評價：

• 「與其他實驗室相比，OpenAI 并沒有什么特別的進步。」
• 「ChatGPT 使用的 Transformer 架構(gòu)是以這種自監(jiān)督的方式預(yù)訓(xùn)練的。自監(jiān)督學(xué)習(xí)是我很長一段時間以來一直倡導(dǎo)的，甚至可以追溯到 OpenAI 出現(xiàn)之前。」
• 「Transformer 是谷歌的發(fā)明，這類語言項目的工作可以追溯到幾十年前。」
• ……

如此，Sam Altman 的取關(guān)行動也是情有可原。

在「取關(guān)」被人發(fā)現(xiàn)的四個小時后，Yann LeCun 更新了動態(tài)，再次轉(zhuǎn)發(fā)了一篇「陰陽」ChatGPT 的文章：

為什么像 ChatGPT 這樣的大型語言模型可以滔滔不絕地胡說八道？它們對現(xiàn)實的把握是非常膚淺的

有人就不同意了：「ChatGPT 是廣泛知識和巨大創(chuàng)造力的源泉，已經(jīng)在大量書籍和其他信息源上接受過訓(xùn)練。」

對此，LeCun 也表明了自己觀點：「沒人說 LLM 沒用。FAIR 的 Galactica 短暫發(fā)布期間，我自己也曾這么說過。人們把它釘在十字架上，因為它會產(chǎn)生胡說八道。ChatGPT 做了同樣的事情。但同樣，這并不意味著它們沒有用。」

實際上，這篇《大西洋報》的文章是對麻省理工學(xué)院認知科學(xué)小組的一篇論文進行了評論。讓我們看一下具體的研究內(nèi)容。

這篇論文說了啥？

這篇論文的標題為《Dissociating Language and Thought in Large Language Models: a Cognitive Perspective》，作者分別來自得克薩斯大學(xué)奧斯汀分校、MIT 和 UCLA。

論文地址：https://arxiv.org/pdf/2301.06627.pdf

我們知道，如今的大型語言模型（LLM）通常能夠生成連貫、合乎語法且看起來有意義的文本段落。這一成就引發(fā)了人們的猜測，即這些網(wǎng)絡(luò)已經(jīng)是或者很快將成為「思維機器」，從而執(zhí)行需要抽象知識和推理的任務(wù)。

在本文中，作者考慮了兩個不同方面的語言使用表現(xiàn)來觀察 LLM 的能力，分別如下：

• 形式語言能力，包括給定語言的規(guī)則和模式知識；
• 功能語言能力，現(xiàn)實世界中語言理解和使用所需的一系列感知能力。

借鑒認知神經(jīng)科學(xué)的證據(jù)，作者表明人類的形式能力依賴特定的語言處理機制，而功能能力需要語言之外的多種能力，它們構(gòu)成了形式推理、世界知識、情境建模和社會認知等思維能力。與人類的兩種能力區(qū)別相似，LLM 在需要形式語言能力的任務(wù)上表現(xiàn)出色（盡管還不完美），但在很多需要功能能力的測試中卻往往失敗。

基于這一證據(jù)，作者認為，其一現(xiàn)代 LLM 應(yīng)該被認真地作為具備形式語言技能的模型，其二玩轉(zhuǎn)現(xiàn)實生活語言使用的模型需要合并或開發(fā)核心語言模塊以及建模思維所需的多種非特定語言的認知能力。

總之，他們認為，形式語言能力和功能語言能力之間的區(qū)別有助于理清圍繞 LLM 潛力的討論，并為構(gòu)建以類人方式理解和使用語言的模型提供了途徑。LLM 在很多非語言任務(wù)上的失敗并沒有削弱它們作為語言處理的良好模型，如果以人類的思維和大腦作為類比，未來 AGI 的進步可能取決于將語言模型以及代表抽象知識和支持復(fù)雜推理的模型相結(jié)合。

ChatGPT 數(shù)學(xué)水平仍需要提升

LLM 在語言之外的功能能力（如推理等）方面有所欠缺，OpenAI 的 ChatGPT 正是一個例子。雖然此前??官宣數(shù)學(xué)能力再升級???，但被網(wǎng)友吐槽只能精通十以內(nèi)的加減法。

近日在一篇論文《Mathematical Capabilities of ChatGPT》中，牛津大學(xué)、劍橋大學(xué)等機構(gòu)的研究者在公開可用和手工制作的數(shù)據(jù)集上測試 ChatGPT 的數(shù)學(xué)能力，并衡量了它與在 Minerva 等數(shù)學(xué)語料庫上訓(xùn)練的其他模型的性能。同時通過模擬數(shù)學(xué)家日常專業(yè)活動（問答、定理搜索）中出現(xiàn)的各種用例，來測試 ChatGPT 是否可以稱為專業(yè)數(shù)學(xué)家的有用助手。

論文地址：https://arxiv.org/pdf/2301.13867.pdf

研究者引入并公開了一個全新數(shù)據(jù)集 —— GHOSTS，它是首個由數(shù)學(xué)研究人員制作和管理的自然語言數(shù)據(jù)集，涵蓋了研究生水平的數(shù)學(xué)，并全面概述語言模型的數(shù)學(xué)能力。他們在 GHOSTS 上對 ChatGPT 進行了基準測試，并根據(jù)細粒度標準評估性能。

測試結(jié)果顯示，ChatGPT 的數(shù)學(xué)能力明顯低于普通數(shù)學(xué)研究生，它通常可以理解問題但無法給出正確答案。

每月 20 美元，ChatGPT Plus 大會員上線

不管怎么說，ChatGPT 在商業(yè)上的成功是有目共睹的。

剛剛，OpenAI 宣布了「ChatGPT Plus」，一項每月 20 美元的新付費會員服務(wù)。

訂閱者將獲得一些好處：

• 可以普遍使用 ChatGPT，即使在高峰期也是如此；
• 更快的響應(yīng)時間；
• 優(yōu)先獲得新功能和改進。

OpenAI 表示，它將在「未來幾周內(nèi)」向在美國和在其候補名單上的人發(fā)出該服務(wù)的邀請，并表示會將該服務(wù)推廣到其他國家和地區(qū)。

一個多星期前，有消息稱 OpenAI 要以每月 42 美元的價格推出 ChatGPT 服務(wù)的 plus 版或 pro 版，但最終定下的每月 20 美元，顯然讓更廣泛的人群有能力使用該服務(wù)，包括學(xué)生和企業(yè)。

某種程度上，這將為市場上任何想要推出的 AI 聊天機器人設(shè)定付費標準。鑒于 OpenAI 是該領(lǐng)域的先行者，如果其他公司試圖發(fā)布每月付費超過 20 美元的機器人，都必須先解釋明白一件事 —— 自己的聊天機器人憑什么比 ChatGPT Plus 更值錢？