架構(gòu)

圖片

上圖是VideoAgent的概覽圖，VideoAgent通過(guò)搜索、聚合視頻信息來(lái)完成長(zhǎng)視頻QA。整個(gè)系統(tǒng)包括一個(gè)核心LLM、VLM(視覺(jué)大語(yǔ)言模型)和CLIP工具。

作者受到人類理解長(zhǎng)視頻的啟發(fā)，提出了VideoAgent，通過(guò)基于Agent的系統(tǒng)來(lái)模擬這一過(guò)程的系統(tǒng)。

將視頻理解過(guò)程形式化為一系列狀態(tài)、動(dòng)作和觀察，其中LLM作為代理控制這個(gè)過(guò)程。首先，LLM通過(guò)瀏覽從視頻中均勻抽樣的一組幀來(lái)熟悉視頻內(nèi)容的背景。在每次迭代中，LLM評(píng)估當(dāng)前信息（狀態(tài)）是否足以回答問(wèn)題；如果不夠，它會(huì)確定需要什么額外的信息（動(dòng)作）。隨后，它利用CLIP 來(lái)檢索包含這些信息的新幀（觀察），并使用VLM將這些新幀描述為文本描述，從而更新當(dāng)前狀態(tài)。這種設(shè)計(jì)強(qiáng)調(diào)了推理能力和迭代過(guò)程，而不是直接處理長(zhǎng)視覺(jué)輸入，其中VLM和CLIP作為工具，使LLM能夠具有視覺(jué)理解和長(zhǎng)上下文檢索能力。

圖片

VideoAgent的迭代過(guò)程詳細(xì)視圖。每一輪都從狀態(tài)開始，其中包括先前查看過(guò)的視頻幀。然后，大型語(yǔ)言模型通過(guò)回答預(yù)測(cè)和自我反思來(lái)確定后續(xù)的動(dòng)作。如果需要額外的信息，就會(huì)以視頻幀的形式獲取新的觀察結(jié)果。

假設(shè)LLM確定信息不足以回答問(wèn)題，并選擇搜索新信息。在這種情況下，進(jìn)一步要求LLM決定需要什么額外信息，以便可以利用工具來(lái)獲得額外信息。由于視頻中某些信息可能出現(xiàn)多次，所以進(jìn)行分段級(jí)別的檢索而不是視頻級(jí)別的檢索，以增強(qiáng)時(shí)間推理能力。

例如，假設(shè)問(wèn)題是“男孩離開房間后在沙發(fā)上留下了什么玩具？”，并且我們?cè)趲?i 中看到了男孩離開房間。如果我們使用查詢“顯示沙發(fā)上的玩具的幀”進(jìn)行檢索，則可能在幀 i 之前存在包含“沙發(fā)上的玩具”的幀，但它們與回答問(wèn)題無(wú)關(guān)。

Arxiv^[1]

引用鏈接

??[1]?? Arxiv: https://arxiv.org/abs/2403.10517

本文轉(zhuǎn)載自??大語(yǔ)言模型論文跟蹤??，作者：HuggingAGI ????