這周三，OpenAI剛剛宣布解禁ChatGPT多模態(tài)能力。

如今，一上線，網(wǎng)友們瞬間玩瘋了。

接下來(lái)，一起看看，ChatGPT的識(shí)圖能力，究竟有多強(qiáng)？

拍照傳圖，即生代碼

一位網(wǎng)友錄制了一段上傳開(kāi)會(huì)時(shí)的一張白板圖，然后讓ChatGPT寫出代碼。

還有，你可以上傳一張手繪的草稿圖，然后要求ChatGPT在HTML創(chuàng)建網(wǎng)頁(yè)。

嗖嗖嗖，代碼分分鐘都出來(lái)了。

這簡(jiǎn)直就是，今年GPT-4剛剛發(fā)布時(shí)，Greg Brockman所展示的多模態(tài)能力。

再比如，把你的to do list本子拍一張照片。

然后讓GPT-4做一個(gè)Python Tkinter GUI，然后就實(shí)現(xiàn)了...

古卷手稿，一眼轉(zhuǎn)譯

再來(lái)一張來(lái)自17世紀(jì)的煉金術(shù)師Robert Boyle的手稿圖，GPT-4能不能讀懂它？

這簡(jiǎn)直對(duì)它來(lái)說(shuō)，小菜一碟。

在比如「加泰羅尼亞語(yǔ)關(guān)于藥用木乃伊的藥物手冊(cè)」。

ChatGPT同樣能夠轉(zhuǎn)錄并翻譯出來(lái)。

來(lái)自UCSC的歷史學(xué)副教授Benjamin Breen表示，

這將對(duì)歷史學(xué)家產(chǎn)生重大影響。試想一下，一個(gè)定制的多模態(tài)GPT-4可以對(duì)一組特定的手稿進(jìn)行訓(xùn)練。它不僅可以轉(zhuǎn)錄，還可以翻譯和分類。(正是這一點(diǎn)，不使用LLM進(jìn)行寫作，在我看來(lái)才是一件大事）。

圖表總結(jié)也很6

你還可以命令GPT-4根據(jù)圖表提取數(shù)據(jù)。

然后可以創(chuàng)建Python代碼來(lái)復(fù)制圖表，讓它更像圖表。

再把股趨勢(shì)圖丟給它，還能分析總結(jié)特征。

識(shí)圖「智商超群」

給GPT-4一張抽象的圖。

它竟然可以準(zhǔn)確的識(shí)別出這4張圖想表達(dá)的「溝通的重要性」的隱喻，這也太離譜了。

GPT-4V甚至可以閱讀醫(yī)生的字跡。

還有日本網(wǎng)友直接用「七龍珠」中孫悟空考ChatGPT了。

還有各種「你是不是人」的驗(yàn)證碼。

上傳一張自己的作品，GPT-4還能為你提出改進(jìn)建議。

還有網(wǎng)友發(fā)現(xiàn)，GPT-4V對(duì)kosmos-1論文中的這道題給出了正確答案，但推理過(guò)程卻出現(xiàn)了錯(cuò)誤。

有了這個(gè)功能，小朋友們?cè)僖膊挥米鲎鳂I(yè)了。

網(wǎng)友大波總結(jié)

除了以上體驗(yàn)之外，還有網(wǎng)友寫了一篇長(zhǎng)文，介紹了自己對(duì)GPT-4V的測(cè)試。

測(cè)試一：視覺(jué)問(wèn)答

給一個(gè)表情包，看看GPT-4V理解程度有多好？

GPT-4V成功地解釋了為什么有趣，并提到了圖片的各個(gè)組成部分以及它們之間的聯(lián)系。

值得注意的是，所提供的括號(hào)備注中，GPT-4V能夠讀懂并利用文字做出回應(yīng)。

盡管如此，GPT-4V還是犯了一個(gè)錯(cuò)誤，炸雞標(biāo)記為「NVIDIA BURGER」，而不是「GPU」。

然后，再用硬幣，一張美國(guó)便士的照片測(cè)試。GPT-4V能夠成功識(shí)別硬幣的來(lái)源和面值。

但如果是多枚硬幣圖片，并問(wèn)GPT-4V，我有多少錢？

這時(shí)，它只能夠識(shí)別硬幣的數(shù)量，但無(wú)法確定貨幣類型。

測(cè)試二：OCR識(shí)別

截取網(wǎng)頁(yè)中的文本圖像上傳，GPT-4V可以很好地讀出內(nèi)容。

測(cè)試三：數(shù)學(xué)OCR

數(shù)學(xué)OCR是一種專門針對(duì)數(shù)學(xué)方程的光學(xué)字符識(shí)別的特殊形式。

網(wǎng)友向GPT-4V提出了一個(gè)數(shù)學(xué)問(wèn)題，并用文檔截圖形式呈現(xiàn)出來(lái)。

這個(gè)問(wèn)題涉及在給定2個(gè)角度的情況下計(jì)算拉鏈線的長(zhǎng)度，在圖像上提示「解決它」。

模型識(shí)別出的問(wèn)題可以用三角法求解，識(shí)別出要使用的函數(shù)，并逐步提出如何解決問(wèn)題的走查。然后，GPT-4V提供了問(wèn)題的正確答案。

話雖如此，GPT-4V系統(tǒng)卡指出模型可能會(huì)遺漏數(shù)學(xué)符號(hào)。

不同的測(cè)試，包括用手寫在紙上的方程或表達(dá)式的測(cè)試，可能表明模型回答數(shù)學(xué)問(wèn)題的能力不足。

測(cè)試四：對(duì)象檢測(cè)

讓GPT-4V檢測(cè)圖像中的狗，并提供與狗的位置相關(guān)的x_min、y_min、x_max和y_max值，GPT-4V返回的邊界框坐標(biāo)與狗的位置不匹配。

雖然GPT-4V在回答圖像問(wèn)題方面的能力非常強(qiáng)大，但在你若是想知道一個(gè)物體在圖中的位置，該模型不能替代微調(diào)目標(biāo)檢測(cè)模型。

測(cè)試五：驗(yàn)證碼

發(fā)現(xiàn)GPT-4V能夠識(shí)別圖像中包含驗(yàn)證碼，但經(jīng)常無(wú)法通過(guò)測(cè)試。

在一個(gè)選取紅綠燈格子的示例中，GPT-4V少選了一些包含紅綠燈的格子。

測(cè)試六：填字游戲和數(shù)獨(dú)

在數(shù)獨(dú)測(cè)試中，GPT-4V識(shí)別了游戲，但誤解了棋盤的結(jié)構(gòu)，因此返回了不準(zhǔn)確的結(jié)果。

順帶提一句，ChatGPT聯(lián)網(wǎng)功能又回來(lái)了。