LLM已經可以理解文本和圖片了，也能夠根據它們的歷史知識回答各種問題，但它們或許對周圍世界當前發生的事情一無所知。

現在LLMs也開始逐步學習理解3D物理空間，通過增強LLMs的「看到」世界的能力，人們可以開發新的應用，在更多場景去獲取LLMs的幫助。

AI Agent，比如機器人或是智能眼鏡，它們可以通過感知和理解環境來回答一些開放性問題，比如「我把鑰匙放哪里了？」

圖片

這樣的AI Agent需要利用視覺等感知模式來理解其周圍環境，并能夠用清晰的日常語言有效地與人交流。

這類似于構建一個「世界模型」，即AI Agent可以對外部世界產生它自己的內部理解方法，并能夠讓人類通過語言查詢。

這是一個長期的愿景和一個有挑戰的領域，也是實現人工通用智能的重要一步。

Meta的新研究OpenEQA（Embodied Question Answering）框架，即開放詞匯體驗問答框架，為我們探索這個領域提供了新的可能。

EQA是什么？

EQA（Embodied Question Answering）是一種工具，用于檢查AI Agent是否真正理解周圍世界發生的事情。

畢竟，當我們想要確定一個人對概念的理解程度時，我們會問他們問題，并根據他們的答案形成評估。我們也可以對實體AI Agent做同樣的事情。

比如下圖的一些問題實例：

圖片

[物體識別]

問：椅子上的紅色物體是什么？

答：一個背包

[屬性識別]

問：在所有的椅子中，這把椅子的獨特顏色是什么？

答：綠色

[空間理解]

問：這個房間可以容納10個人嗎？

答：可以

[物體狀態識別]

問：塑料水瓶是開著的嗎？

答：不是

[功能推理]

問：我可以用鉛筆在什么東西上寫？

答：紙

[世界知識]

問：最近有學生在這里嗎？

答：有

[物體定位]

問：我的未喝完的星巴克飲料在哪里？

答：在靠前的白板旁邊的桌子上

除此之外，EQA也更加有直接的應用。

比如，當你準備出門卻找不到工卡時，就就可以問智能眼鏡它在哪里。而AI Agent則會通過利用其情節記憶回答說徽章在餐桌上。

圖片

或者如果你在回家的路上餓了，就可以問家庭機器人是否還剩下水果。根據其對環境的主動探索，它可能會回答說水果籃里有成熟的香蕉。

圖片

這些行為看上去很簡單，畢竟LLMs在許多人認為具有挑戰性的任務中表現出色，比如通過SAT或律師考試。

但現實是，即使是今天最先進的模型，在EQA方面也很難達到人類的表現水平。

這也是為什么Meta同時發布了OpenEQA基準測試，讓研究人員可以測試他們自己的模型，并了解它們與人類的表現相比如何。

OpenEQA：面向AI Agent的全新基準

開放詞匯體驗問答（OpenEQA）框架是一個新的基準測試，通過向AI Agent提出開放詞匯問題來衡量其對環境的理解。

該基準包含超過1600個非模板化的問題和答案對，這些問題和答案來自人類注釋者，代表了真實世界的使用情況，并提供了180多個物理環境的視頻和掃描指針。

OpenEQA包含兩個任務：

（1）情節記憶EQA，在這個任務中，一個實體的AI Agent根據其對過去經歷的回憶回答問題。

（2）主動EQA，在這個任務中，AI Agent必須在環境中采取行動來收集必要的信息并回答問題。

OpenEQA還配備了LLM-Match，這是一種用于評分開放詞匯答案的自動評估指標。

下方是LLM-Match打分的流程，通過問題和場景的輸入，AI大模型會給出回答，該回答會去和人類的回答作對比，然后得到相應的分數。

圖片

現階段VLM的表現

一般來說，AI Agent的視覺能力是借助于視覺+語言基礎模型（VLM）。

研究員使用OpenEQA來評估了幾種最先進的VLM，發現即使是性能最好的模型（如GPT-4V達到48.5%），與人類的表現（85.9%）之間也存在著顯著差距。

圖片

值得注意的是，對于需要空間理解的問題，即使是最好的VLM也幾乎是「盲目」的，即它們的表現幾乎不比僅文本模型更好。

例如，對于「我坐在客廳的沙發上看電視。我的身后是哪個房間？」這個問題，模型基本上是隨機猜測不同的房間，沒有從視覺情景記憶中獲得對空間的理解。

這說明VLM其實是回歸到文本中去捕捉關于世界的先驗知識，以此來回答視覺問題。視覺信息并沒有給它們帶來實質性的好處。

這也說明，AI Agent在目前這個階段，還達不到能完全理解物理世界的能力。

但氣餒還為時過早，OpenEQA僅僅是第一個開放詞匯的EQA基準。

通過OpenEQA將具有挑戰性的開放詞匯問題與以自然語言回答的能力結合起來，可以激發更多的研究，幫助AI理解并交流關于它所看到的世界的信息，也有助于研究人員跟蹤多模態學習和場景理解的未來進展。

也不是沒有可能，突然哪天AI Agent又給我們帶來一個大驚喜呢？

參考資料：

https://ai.meta.com/blog/openeqa-embodied-question-answering-robotics-ar-glasses/