GPT-4解出難倒陶哲軒奧數(shù)題？語言IQ已達(dá)152，但空間推理巨差
GPT-4在語言能力上的智商，已經(jīng)吊打人類！
最近，國外的一位小哥測試了GPT-4的智商，結(jié)果顯示，它的語言智商已經(jīng)達(dá)到了152。
而根據(jù)調(diào)查，人類的平均智商是90-109，單論語言智商的話，人類是妥妥地被GPT-4吊打了……
GPT-4的能力，我們此前早已耳熟能詳。3月底，微軟的一篇154頁的論文，震驚全世界。
在這篇論文中，微軟表示，GPT-4已經(jīng)顯現(xiàn)出了通用人工智能的火花，它可以被認(rèn)為是通用人工智能的一個早期版本。
論文地址：https://arxiv.org/pdf/2303.12712.pdf
通過測試，微軟的研究者證實(shí)：GPT-4不僅精通語言，還能在數(shù)學(xué)、編程、視覺、醫(yī)學(xué)、法律、心理學(xué)等多樣化和高難度的任務(wù)中表現(xiàn)出色，且無需特別提示。
最可怕的是，在所有這些任務(wù)中，GPT-4的表現(xiàn)都接近了人類水平，并且時常超過之前的模型。
下面，我們就來看看GPT-4在各方面能力上，哪些能吊打人類，哪些暫時還無法趕超我們。
為GPT-4量身打造IQ測試
首先，這位小哥上網(wǎng)搜索了一下免費(fèi)的智商測試。
但他發(fā)現(xiàn)一個棘手的問題：這些智商測試，很多都是以圖像的形式。
然而GPT-4，目前可以被認(rèn)為還是一個「瞎子」+「聾子」，并沒有讀圖能力。
怎么辦呢？這位小哥隨后意識到，肯定有專門為視力缺陷的人設(shè)計(jì)的智商測試。
他動手試了試，果然搜到了。然而，這種測試非常昂貴，需要花1500多刀，沒法白嫖。
自己動手，豐衣足食。這位小哥干脆一不做二不休，自己上手，為GPT-4量身打造了一版智商測試。
難得倒陶哲軒，難不倒GPT-4
首先要測試的，是GPT-4的數(shù)學(xué)能力。
全世界最流行、最頂尖的數(shù)學(xué)測試是什么？自然就是國際奧數(shù)比賽。
世界上最偉大的數(shù)學(xué)家之一陶哲軒，就是在1986年參加的國際奧數(shù)比賽。
那一年，試題中的第6題，連他也解不出。
那GPT-4可以么？
小哥把這道題輸給了GPT-4，結(jié)果是——它解出來了。
但是，我們并不能說，它就勝過了世界上最厲害的成年人數(shù)學(xué)家。
另外，它也無法證明孿生素?cái)?shù)猜想。（要是能證明就有鬼了??）
小哥讓GPT-4繪制一個方程式的坐標(biāo)，也遭到了GPT-4的拒絕。
非常禮貌地懇求它，結(jié)果還是被婉拒了。
所以，GPT-4的極限到底在哪里呢？
這位小哥只能去查閱公開的文獻(xiàn)。在OpenAI的官方論文中，GPT-4在SAT的數(shù)學(xué)考試中得分高于91%的人類，在其其他數(shù)學(xué)類考試中表現(xiàn)也很優(yōu)異。
不善溝通的語言天才
接下來，小哥想測試一下GPT-4在人際關(guān)系智能（Interpersonal Intelligence），以及內(nèi)省智能（Intrapersonal Intelligence）方面表現(xiàn)如何。
嚴(yán)謹(jǐn)?shù)男「缦壬暇W(wǎng)查了一下，何為人際關(guān)系智能——善于處理人際關(guān)系的人，他們能更好地理解他人，并和別人進(jìn)行互動。這類人擅長評估情緒、動機(jī)、欲望，以及周圍人的意圖。
然后，他找了一篇SAT考試中的文章，將文章內(nèi)容復(fù)制下來，把所有的和人物動機(jī)有關(guān)的問題也一股腦甩給了GPT-4。
GPT-4表現(xiàn)還算....出色？四個題對了三個。
然而，GPT-4卻沒有任何分析情緒的能力。
因?yàn)?，按它自己的原話，它只是一個AI模型，并沒有「自我」的概念。
那GPT-4的內(nèi)省智能如何呢？
小哥表示，一個內(nèi)省智能高的人，對自身優(yōu)缺點(diǎn)有清醒的認(rèn)知。
把這個當(dāng)作prompt輸入GPT-4，發(fā)現(xiàn)這模型對自己定位還是挺清晰的。
比方說，優(yōu)點(diǎn)里有廣泛的知識儲備、反應(yīng)迅速、多語能力、模式識別能力，以及可擴(kuò)展性強(qiáng)等等。
而缺點(diǎn)包括缺乏個人經(jīng)驗(yàn)、缺乏某些領(lǐng)域的知識、不太能理解上下文、文學(xué)解讀、道德評判等等。
但小哥表示，這種認(rèn)識程度還遠(yuǎn)遠(yuǎn)不夠?？偟膩碚f，GPT-4的人際關(guān)系智能和內(nèi)省智能，都一般。
小哥還給GPT-4測了一下口頭語言的IQ測試，它得了152分。
對人類來說，這個分?jǐn)?shù)意味著——你是個天才。
空間推理 小試牛刀
而轉(zhuǎn)到空間能力這一塊，GPT-4的表現(xiàn)就不容樂觀了。
本來，小哥想讓GPT-4直接做一套空間推理的選擇題。
但是，OpenAI未來才會慢慢開發(fā)GPT-4的識圖功能。
在OpenAI發(fā)布的視頻中，研究人員上傳了這么一張圖片，然后問GPT-4，如果把繩子剪短會怎么樣。
GPT-4表示，那氣球就會飛走了！
小哥和GPT-4下了把井字棋，通過文字輸入控制走棋。
但GPT-4在深諳規(guī)則的情況下，耍賴了。
本來該小哥贏，讓GPT-4幫自己在最下面一排的中間畫一個圈三連。
GPT-4可倒好，直接把最上面一排的圈擦了，畫了個自己的叉。作弊取勝。
ChatGPT：魔方？我不會啊
為了進(jìn)一步測試GPT-4的空間理解能力，小哥祭出了大殺器——魔方。
要知道，對人類來說，魔方也是衡量一個人空間感的方法之一。
首先，因?yàn)镚PT-4不能看圖，所以要先想辦法用文字描述魔方的狀態(tài)。
熟悉魔方的朋友對下面這個圖應(yīng)該不會陌生。在公式中，我們常常會用若干字母，或字母加一個撇號來代表不同的操作。
一般魔方正對我們，不同的旋轉(zhuǎn)對應(yīng)不同的表達(dá)。就像下面這樣。
小哥在視頻中做了一個示范，確保GPT-4領(lǐng)會了這個意思。
然后，就要開始把GPT-4拉出來遛遛了！看看它到底會不會還原。
萬事先從簡單的開始。小哥第一步只是把魔方最上層向左擰了一下，看看GPT-4會不會還原。
這點(diǎn)難度還是難不倒GPT-4。小哥輸入U(xiǎn)這個操作（最上層向左擰），GPT-4也是很快給出了U’（U的反向操作）這個答案。
緊接著是UR，意思就是最上層左擰一次，最右邊上擰一次。
GPT-4也很快給出了反向操作——R’U’。
接著就要上難度了！小哥開始徹底打亂魔方，總共十多步。
令人驚訝的是，GPT-4居然真的生成出結(jié)果了！
然而小哥定睛一看，GPT-4生成的復(fù)原方法，就是把所有打亂的步驟反過來來一遍。
看完直呼無語，這要你何用。
于是小哥發(fā)現(xiàn)這樣做就是會出現(xiàn)這個問題。因?yàn)槟爿斎氪騺y的方式，GPT-4必然在復(fù)原的時候反向操作。
問題的關(guān)鍵，就是不能讓GPT-4知道這是怎么打亂的。
小哥很聰明，問了一下GPT-4，如果是你，你會怎么描述魔方的狀態(tài)？
GPT-4采取了下圖這樣的方式：用不同的字母代替不同的顏色，把每一個面的顏色情況全部用字母表達(dá)出來。
這樣就避免了打亂步驟這一個part。
這次經(jīng)過嘗試，只有第一次的小試牛刀成功了，也就是只打亂一次的結(jié)果。
GPT-4處理起簡單問題真是毫不手軟，可惜一復(fù)雜就趴窩了。
最后還生成出了下圖這個結(jié)果——
小哥表示，這現(xiàn)實(shí)的魔方根本擰不成這樣啊，GPT-4你在干什么？？
這個結(jié)果直接給GPT-4玩兒魔方的能力宣判了死刑。
除了倒推復(fù)原，GPT-4根本玩不轉(zhuǎn)魔方。
兩任總統(tǒng)的RAP對決，泰褲辣
最后，這位小哥還測了一波GPT-4的音樂能力。
咱們都知道，GPT-4會寫詩。
既然如此，小哥就讓GPT-4以Minecraft服務(wù)器中的特朗普和拜登的說唱大戰(zhàn)為主題，寫出rap詞和旋律，還要make a beat。
小哥發(fā)現(xiàn)，最好的方式就是用ABC notation，因?yàn)镚PT-4寫不出五線譜。
所以，小哥讓GPT-4用ABC notation寫一個Boom bap beat，然后把這個beat輸入到一個音樂網(wǎng)站里。
GPT-4寫出的beat是這樣的——
聽起來沒啥驚喜。
小哥希望挽救一下這個beat，于是換了一種樂器。把它下載成midi file，再上傳到FL Studio。但不好的是，所有樂器都結(jié)合在一個音軌中了。
所以小哥讓GPT-4給每個音軌一個單獨(dú)的樂器文件。
成品一放，還挺驚艷：「yo！我是拜登，我來打破紀(jì)錄，直截了當(dāng)……」
接著，小哥下載了一個現(xiàn)成的beat，做成了拜登和川普的說唱battle——各位，請準(zhǔn)備好尖叫吧。
總的來說，GPT-4已經(jīng)在多方面吊打人類，如果在未來哪一天，它能克服視力和聽力上的缺陷，人類的未來，可就真不好說了。
