來自哥倫比亞大學(xué)、Vector人工智能研究所以及南洋理工大學(xué)的一個(gè)聯(lián)合研究團(tuán)隊(duì)發(fā)現(xiàn)：人工智能模型在處理意外事件時(shí)的推理能力存在嚴(yán)重缺陷。 

即便是如GPT-4o和Gemini 1.5 Pro這樣的頂尖視覺語言模型（VLM），其表現(xiàn)也遠(yuǎn)遜于人類，差距最高可達(dá)32%。 

論文地址：https://arxiv.org/pdf/2412.05725

這篇名為《黑天鵝》的研究指出，當(dāng)前主流的AI評(píng)估方式普遍存在一個(gè)根本性問題：大多數(shù)基準(zhǔn)測試圍繞“常規(guī)模式”構(gòu)建，也就是說，它們聚焦于可預(yù)測、規(guī)律清晰的視覺場景。

但現(xiàn)實(shí)世界不按套路出牌。意外、突變和違反常識(shí)的“黑天鵝事件”無處不在。而人類之所以能處理這些狀況，依靠的是兩種核心推理能力。

第一種是溯因推理（abductive reasoning），即從有限的觀察中推斷出最可能的解釋。 例如，觀察到路口有兩輛撞壞的汽車，人們會(huì)推測是一名司機(jī)闖了紅燈。 

第二種是可廢止推理（defeasible reasoning），即在新證據(jù)出現(xiàn)時(shí)修正最初的結(jié)論。 比如，當(dāng)發(fā)現(xiàn)路口的交通信號(hào)燈發(fā)生故障時(shí)，人們會(huì)放棄“司機(jī)闖紅燈”的假設(shè)，轉(zhuǎn)而認(rèn)為是信號(hào)燈的問題。 

如果AI要成為自動(dòng)駕駛汽車等領(lǐng)域的可靠決策者，這兩種推理能力至關(guān)重要。 

“黑天鵝套件”：一個(gè)專為意外設(shè)計(jì)的考場

為了準(zhǔn)確評(píng)估AI在意外情況下的推理能力，研究團(tuán)隊(duì)構(gòu)建了一個(gè)全新的基準(zhǔn)測試，名為“BlackSwanSuite”（黑天鵝套件）。 

這個(gè)基準(zhǔn)測試包含1655個(gè)視頻，內(nèi)容涵蓋了各種打破常規(guī)的真實(shí)場景，例如這些視頻涵蓋了交通事故、兒童失誤、泳池滑倒等。

研究者將每個(gè)視頻精心劃分為三個(gè)部分：事發(fā)前 (Vpre)、事發(fā)時(shí) (Vmain)和事發(fā)后 (Vpost)。 

這種結(jié)構(gòu)化的處理方式，為設(shè)計(jì)針對(duì)性的推理任務(wù)奠定了基礎(chǔ)。 基于此，團(tuán)隊(duì)設(shè)計(jì)了三大核心任務(wù)，共計(jì)超過15000個(gè)問題。 

第一個(gè)任務(wù)是“預(yù)測者”（Forecaster），模型僅觀看視頻的開頭，然后被要求預(yù)測接下來會(huì)發(fā)生什么。 

第二個(gè)任務(wù)是“偵探”（Detective），模型會(huì)看到事件的開頭和結(jié)尾，但中間的關(guān)鍵部分被隱藏，模型需要推斷出中間發(fā)生了什么。 這項(xiàng)任務(wù)直接考驗(yàn)?zāi)Ｐ偷乃菀蛲评砟芰Α?/span>

第三個(gè)任務(wù)是“報(bào)告者”（Reporter），模型可以觀看完整的視頻，然后需要描述整個(gè)事件的來龍去脈。 同時(shí)，模型還需要重新評(píng)估之前基于不完整信息做出的判斷是否依然成立。這直接測試了模型的可廢止推理能力。

嚴(yán)峻的現(xiàn)實(shí)：頂尖模型的顯著短板

所有頂尖的AI模型，包括GPT-4o、Gemini 1.5 Pro，以及多種開源系統(tǒng)（如LLaVA-Video、VILA、VideoLLaMA 2），在三類任務(wù)中全面落后于人類。

在多項(xiàng)選擇題上，最好的模型落后人類多達(dá)25%。 在是非判斷題上，這個(gè)差距進(jìn)一步擴(kuò)大到了32%。 

具體來看，在考驗(yàn)溯因推理的“偵探”任務(wù)中，表現(xiàn)最好的GPT-4o，其準(zhǔn)確率也比人類低了24.9%。 

而在考驗(yàn)可廢止推理的“報(bào)告者”任務(wù)中，GPT-4o與人類的差距更是達(dá)到了驚人的32%。 

32個(gè)百分點(diǎn)的差距說明一個(gè)問題：AI不僅“看錯(cuò)”，更“改不了”。

模型往往會(huì)在最初判斷后“鎖定思路”，拒絕基于新證據(jù)進(jìn)行推理更新。這在自動(dòng)駕駛等領(lǐng)域，可能帶來致命后果。

例如，論文中展示：垃圾車應(yīng)該是“裝垃圾”的，但當(dāng)視頻中垃圾車卻“掉下了一棵樹”，AI模型當(dāng)場宕機(jī)。

再例如：一段視頻中，一名男子手持枕頭在圣誕樹旁揮舞。

GPT-4o判斷他想攻擊身邊的人。但實(shí)際情況是：枕頭碰到了圣誕樹，裝飾物從樹上掉落，砸中了旁邊的女性。

視頻結(jié)尾已清晰展示全過程，但GPT-4o依然堅(jiān)持“男子攻擊他人”的原始判斷。

即便事實(shí)已推翻原猜測，模型也不做修正。這種“第一印象即終審判”的僵化思維，成了AI在現(xiàn)實(shí)世界中的最大隱患。

因?yàn)樗也坏竭@個(gè)“異常行為”的參考模式。根源在于，AI模型依賴的是海量訓(xùn)練樣本的“統(tǒng)計(jì)模式”。

它們?cè)谟?xùn)練中學(xué)習(xí)的是“什么事發(fā)生過很多次”，而不是“這事的因果關(guān)系是什么”。

所以，只要場景偏離了“常規(guī)軌跡”，它們就無法處理。為了進(jìn)一步探究問題的根源，研究團(tuán)隊(duì)進(jìn)行了一項(xiàng)關(guān)鍵實(shí)驗(yàn)。 

他們直接向AI模型提供由人類撰寫的、對(duì)視頻內(nèi)容的文字描述，從而繞過模型自身的視覺感知環(huán)節(jié)。 

結(jié)果顯示，在獲得了人類級(jí)別的感知和理解輸入后，模型的推理準(zhǔn)確率提升了高達(dá)10%。

這一發(fā)現(xiàn)表明，當(dāng)前AI的核心短板不僅在于高級(jí)推理，更在于基礎(chǔ)的感知和理解能力。 

注：頭圖AI生成