?摘要：隨著通過思維鏈（CoT）方法增強的大型語言模型（LLMs）的出現，視覺推理問題通常被分解成可管理的子任務，并使用各種外部工具依次解決。然而，這種范式面臨決策中潛在的“確定性幻覺”的挑戰，這是由于視覺信息不足以及低級感知工具的限制，這些工具無法提供全面推理所需的抽象總結。我們認為，視覺上下文獲取與邏輯推理的融合是解決視覺推理任務的關鍵。本文深入探討了多模態CoT的領域，使用多模態大型語言模型（MLLMs）及其認知能力來解決復雜的視覺推理任務。為此，我們提出了一個創新的多模態CoT框架，稱為Cantor，其特點是感知決策架構。Cantor首先作為一個決策生成器，整合視覺輸入來分析圖像和問題，確保與實際上下文更緊密的對齊。此外，Cantor利用MLLMs的高級認知功能，作為多方面的專家來推導出更高級別的信息，增強CoT生成過程。我們廣泛的實驗證明了所提出框架的有效性，顯示出在兩個復雜的視覺推理數據集上多模態CoT性能的顯著提升，而無需進行微調或需要真實理由。項目頁面：

??https://ggg0919.github.io/cantor/??。

1. 引言

隨著大型語言模型（LLMs）的發展，研究人員開始采用思維鏈（CoT）策略來提高模型在推理任務中的性能。CoT模仿了人類逐步推理的過程，通過構建一系列邏輯步驟來幫助模型提高對復雜視覺推理問題的深入理解和分析能力。CoT在語言推理任務中的有效性已經得到了廣泛驗證。最近，研究人員自然地將其應用擴展到多模態領域。視覺推理任務[29, 30]本質上適合使用思維鏈（CoT）方法。這些任務要求模型不僅要“感知”圖像中的內容和上下文，還要“理解”這些視覺元素，以做出連貫的推理和決策。因此，多模態CoT的探索在研究社區中顯著擴大。

大多數現有的多模態CoT方法分為兩個階段：決策生成和執行。

1) 決策生成。這是多模態CoT方法的第一步，涉及理解、分析問題并制定推理計劃。現有的確定方法包括將問題分解為子問題[53]，捕獲圖像中的場景圖[32]，尋找相關圖像中的相似性和差異[49]等[41, 44]。它們試圖在文本層面簡化問題或在視覺層面增加更多上下文信息。

2) 執行。在這個階段，模型執行前一確定階段安排的特定操作。具體來說，模型將計劃轉化為實際解決方案。現有的執行方法通常依賴于各種專門的API工具或視覺-語言模型（VLMs），前者強調任務執行的特定性[31, 41]，后者強調任務執行的普遍性[44, 53]。

盡管這些多模態CoT方法提高了視覺推理任務的性能，但仍有局限性：首先，在做出決策時，現有方法通常直接將純文本輸入到LLMs中，而不考慮視覺上下文[17, 44, 53]。直觀上，這增加了LLMs對問題的發散性思維，但實際上，它可能導致“確定性幻覺”。如圖1(a)所示，如果問題本身與圖像沒有密切關系，僅基于文本詢問“這個班級測量的最高量是多少？”，LLM（GPT-3.5）不清楚“這個班級”具體指的是什么。它將回答提供的信息不足，并開始猜測“班級”是指物理中的度量單位還是編程中的類。這種感知不確定性可能導致LLMs做出與問題無關或甚至錯誤的決策，誤導后續執行并導致完全無關的答案。

其次，在執行期間，現有方法通常通過調用外部工具來執行任務，因為MLLMs仍然無法解決許多視覺推理任務[17, 31, 32, 38, 44]。但這些工具大多是低級視覺感知工具（檢測器、識別器、OCR等），只能提取低級視覺信息。如圖1(b)所示，當比較溶液中粒子的數量時，它們只提供粒子的位置，而無法推斷出它們的數量關系等高級信息。它們進一步將這些低級線索輸入到LLMs中進行組織和總結[17, 32, 53]。當復雜線索增加時，這無疑增加了LLMs在長文本推理上的負擔。同時，隨著許多外部工具的使用，它也增加了流程的復雜性。

圖 1. (a) 決策生成中視覺信息的比較：詢問GPT-3.5（沒有視覺上下文）會導致由于圖像不清晰而產生的“確定性幻覺”。Cantor（帶有標題）通過標題引入視覺上下文，不會遇到這個問題。Cantor（帶圖像）甚至更精確，提高了任務分配的合理性。(b) 不同視覺工具的比較：傳統方法中使用的低級專業感知工具僅獲得基本數據。由MLLM扮演的高級通用認知專家獲得對象數量關系，使直接和后續推理成為可能。

為了解決上述局限性，我們提出了一個新穎的多模態CoT框架，Cantor。在決策生成中，我們使MLLM或LLM作為合唱團中的Cantor，同時處理視覺和文本上下文，以全面理解，然后為由單個MLLM扮演的“專家”分配特定任務，以進行高級邏輯問題解決。具體來說，在決策生成期間，我們詳細分析了視覺信息在確定階段的重要性。這包括有或沒有視覺信息的確定質量，以及詳細或簡潔視覺信息對確定的影響差異。最終，我們得出結論，視覺信息在決策生成階段至關重要。當我們使用MLLM模型（如Gemini）作為決策生成器時，我們直接將圖像輸入到模型中，以完全理解問題并對其進行深思熟慮。然而，當使用LLM模型（如GPT-3.5）時，我們發現提供更詳細的圖像標題更有助于理解問題。此外，決策生成器需要明確提供解釋性決策，包括問題解決策略、調用專家的原因以及每個專家的具體任務執行。因此，它指導MLLM作為定制專家（如ObjectQuant定位器、TextIntel提取器、VisionIQ分析師和ChartSense專家）為過程中的子任務提供確定性答案。如圖1(a)所示，當使用LLM做出決策時，在詳細標題的指導下，模型知道它正在詢問燒杯的最大體積，并做出正確的決策。當圖像對MLLM可用時，決策更清晰，即要求VisionIQ分析師提取杯壁頂部的數字。在執行期間，我們觀察到MLLM是一個先進的認知工具，它在直接獲取高級信息（例如，相對位置和數量）方面比獲取檢測位置等低級視覺信息表現得更好。這種高級信息對多模態CoT更為優越。Cantor不是使用幾個外部工具，而是通過不同的專家身份和任務指令，將不同任務分配給單個MLLM，探索MLLM作為某些專家的專業潛力。定制專家直接提供高級專業信息，從而減少了后續綜合推理的負擔。如圖1(b)所示，當比較綠色粒子的濃度時，我們首先需要比較兩個瓶子中粒子的數量。MLLM作為ObjectQuant定位器，直接比較兩種溶液中的數量變化。與獲取粒子位置相比，MLLM更準確地獲得了數量關系的結果。這個結果直接應用于最終答案的進一步推理。

我們提出的框架Cantor在ScinceQA[29]和Mathvista[30]上都取得了最先進的結果。當Gemini用作決策生成器時，Cantor分別獲得了4.11%和5.9%的準確率提升。在Cantor中使用GPT-3.5也實現了2.24%和9.2%的準確率提升。在我們的所有實驗中，我們只使用一個MLLM（Gemini）扮演多個專家的角色，執行具有不同要求的不同子任務。

我們的貢獻如下：

? 我們提出了一個鼓舞人心的多模態CoT框架，名為Cantor，它以感知決策架構為特色，有效地整合了視覺上下文和邏輯推理，以解決視覺推理任務。

? 我們利用MLLM的先進認知能力，扮演多方面的專家，獲取高級信息，并顯著增強CoT生成。

? 我們證明了Cantor在兩個具有挑戰性的基準測試中的有效性，大大超過了現有的對手。

2. 相關工作

2.1 多模態大型語言模型

最近的研究顯示，多模態大型語言模型（MLLMs）[6, 10, 11, 33, 37, 39, 47, 48]的發展是將大型語言模型（LLMs）的高級推理能力與視覺-語言模型（VLMs）的能力相結合的產物。這些模型通過整合視覺和語言信息，在多模態任務中取得了顯著的性能提升。特別是，在將視覺和文本表示與對比視覺和語言模型連接方面取得了重大進展[13, 23, 36]，但它們在處理需要生成組件或對視覺和語言進行更精細推理的下游任務時遇到了限制。為了克服這些限制，MLLM通過直接推斷嵌入式視覺特征[1, 2, 7, 9, 24, 54]，將LLM的推理和生成能力擴展到視覺領域。此外，MLLMs通過微調視覺指令進一步提高性能[28]。

這些進步不僅展示了MLLM處理復雜多模態信息的能力，而且還為通過豐富的多模態信息實現通用人工智能（AGI）提供了新的可能性。通過整合LLM的文本推理能力與視覺語言模型的圖像理解能力，MLLM可以在多種模態中實現深入的理解和表達，處理如圖像字幕和視覺問題回答等復雜任務。開源MLLMs如LLaVA[28]展示了這些能力，而閉源模型如GPT4-V[34]和Gemini[40]在捕捉場景上下文、推理和創造力方面邁出了更大的一步。盡管對于特定任務，這些閉源模型可能不直接具備能力或微調。然而，提示學習在一定程度上可以克服這些限制。本文致力于探索CoT[43]技術，以增強MLLM捕捉復雜視覺場景完整上下文的能力，從而進一步加強其推理能力。

2.2 工具增強型語言模型

近年來，盡管大型語言模型（LLMs）表現出色，但它們并非沒有固有的局限性。這些包括獲取最新信息的挑戰[21]、無法使用特定工具[31, 38]以及執行復雜推理過程的困難[29, 30]。與此同時，研究人員越來越感興趣于使用外部工具和模塊化方法，通過提示和上下文學習來增強LLM。這些增強的LLM可以利用不同的外部工具為LLM提供更多功能并獲得更多知識。一些工作[5, 12, 17, 19]利用提示生成可以由計算機執行的復雜程序，調用不同的工具更有效地執行邏輯推理任務。例如，PaLI-X-VPD[17]通過生成多個候選程序，通過外部工具執行程序并驗證其正確性，提取了LLM的推理能力。它將每個正確的程序轉換為推理步驟的語言描述，形成CoT。此外，一些工作提出了基準測試（如API Bank[25]、ToolQA[55]和MetaTool[18]）來評估LLM工具使用的有效性。本文主要強調增強MLLM的工具使用能力。

2.3 多模態CoT推理

LLMs和MLLMs越來越受歡迎。盡管它們自身的能力越來越強，但良好的提示方法仍然是充分發揮它們能力的關鍵。思維鏈（CoT）是提高LLM推理能力的一種方法，CoT的核心是鼓勵LLM以人類思維方式明確它們的推理，具體是在獲得答案之前添加邏輯思考過程。在NLP領域，CoT已經得到了廣泛的研究[8, 15, 42, 51]。Jason Wei等人[43]通過簡單地將問題解決思路直接添加到上下文示例中，顯著提高了LLM的推理能力。隨后，研究人員主要關注如何自動化構建CoT以減少手動注釋和更復雜的結構，如思維樹（ToT）[45]和思維圖（GoT）[3, 22, 46]。

同時，在多模態CoT方面也取得了驚人的進展。MM-CoT[52]首先提出了一個使用文本和圖像對作為輸入的兩階段推理框架，首先生成理由，然后生成答案。隨后的工作[14, 14, 41, 53]大多基于這個框架，專注于設計特殊視覺-語言特征融合機制以增強多模態信息交互。然而，這些CoT提示方法需要在自然語言推理的真值上進行微調，這需要注釋和計算成本高昂。基于這個問題，研究人員提出了其他不需要手動注釋和訓練的CoT方法。一方面，它們充分挖掘文本信息。例如，DD-CoT[53]進一步完善了生成CoT的過程。它沒有引入視覺信息，而是使用LLM將問題分解成多個相關子問題，然后逐個回答每個子問題以形成CoT。另一方面，研究人員致力于通過各種手段增強視覺信息。例如，CoCoT[49]通過比較圖像之間的相似性和差異來捕捉圖像特征，而CCoT[32]通過解構圖像中的目標和屬性來獲取場景圖以協助理由生成。我們方法與這些方法的關鍵區別在于，在挖掘文本信息時，我們提前引入視覺信息，使決策更加合理和事實。此外，我們通過調用多個專家更全面地增強視覺信息。最后，Cantor也是一種不需要訓練或手動注釋的方法，因此它具有強大的通用性和便利性。本文強調增強MLLM的專家使用能力。考慮到MLLM具有多模態通用能力，它自然適合擔任各種專家。因此，本文將賦予MLLM各種身份，并探索其扮演專家的能力。

3. 方法

為了解決多模態CoT在解決視覺推理任務中的局限性，我們提出了Cantor，它引入了視覺信息以做出正確的決策，并使用單個MLLM充當多個專家，以適應廣泛的問題的需要。我們描述了Cantor的框架（第3.1節）。然后，我們詳細介紹了我們的兩步方法：首先是決策生成（第3.2節），其次是執行（第3.3節）。

3.1. 預備知識

Cantor由兩個階段組成：決策生成和執行，如圖2所示。在Cantor的決策生成階段，Cantor的輸入包括X = {I, T, Pin}，其中I表示視覺輸入（圖像或標題），T表示文本輸入，代表問題陳述及其上下文的串聯，Pin代表生成決策的提示。正式地，給定輸入查詢X，生成決策P如下：Pout = F(X)，其中F表示決策生成器（LLM或MLLM）。特別地，Pout = {R, O, St}，其中R表示原則分析，O表示模塊選擇與推理，St表示分配給專家模塊的任務。具體示例，請參見圖2中間的藍色部分。

在執行模塊化階段，從決策Pout和圖像I派生的多個子任務St = {st1, st2...stn}共同發送到相應的專家模塊，以獲得子答案Sa = {sa1, sa2, ..., san}。過程如下：Sa = G(St, I)，其中G表示各種專家（MLLM）。這個過程對應于圖2右下角紫色部分的執行模塊化階段。然后在執行綜合階段，我們將子任務和子答案串聯起來形成輔助信息S = {St, Sa}，并設計答案生成提示E。最后，輸入更新后的輸入X' = {I, T, S, E}并推斷最終答案A = F(X')，其中F表示答案生成器（LLM或MLLM），如圖2右上角所示。

圖 2. Cantor的概述和一個具體示例。Cantor通過決策生成器分析圖像和問題，提供問題的原則分析，并提供模塊選擇與推理以及具體的任務分配。隨后，MLLM充當各種專家模塊來執行子任務。最后，Cantor通過答案生成器進行綜合和思考，提供最終答案。

（注釋：Cantor是一個多模態思維鏈框架，旨在增強大型多模態語言模型（MLLMs）的決策能力。其工作原理可以分解為幾個關鍵步驟，結合了視覺信息和邏輯推理來解決復雜的視覺推理問題。

1. 決策生成（Decision Generation）：

- 在這一階段，Cantor使用決策生成器來分析問題和圖像。

- 決策生成器會進行原理分析（Principle Analysis），即對問題進行初步理解，并確定解決問題所需的基本原理。

- 然后，Cantor進行模塊選擇與推理（Module Selection & Reason），決定需要哪些專家模塊來幫助解決問題。

- 最后，Cantor進行任務分配（Task Allocation），為每個選定的專家模塊分配具體的任務。

2. 執行模塊化（Execution-Modularization）：

- 在這一階段，MLLM作為不同的專家模塊執行分配的子任務。

- 每個專家模塊針對其特定的任務進行操作，比如“TextIntel Extractor”提取文本信息，“ObjectQuant Locator”比較粒子數量等。

3. 執行綜合（Execution-Synthesis）：

- 完成所有子任務后，Cantor進入執行綜合階段。

- 在這一階段，Cantor將所有子任務和得到的子答案進行綜合，形成輔助推理的補充信息。

4. 答案生成（Answer Generation）：

- 最后，Cantor通過答案生成器進行最終的綜合和思考。

- 答案生成器結合問題、選項和補充信息，生成最終答案。

以圖片中的具體示例來解釋Cantor的工作原理：

- 問題涉及到比較兩個樣本（Sample A和Sample B）的溫度，已知它們的粒子平均速度相同，但質量不同。

- 在決策生成階段，Cantor確定需要使用“TextIntel Extractor”來提取樣本中粒子的質量和速度信息，以及使用“ObjectQuant Locator”來比較兩個樣本中粒子的數量。

- 在執行模塊化階段，MLLM作為專家模塊執行以下任務：

- “TextIntel Extractor”提取出Sample A的質量為44單位，速度為1,400米/秒；Sample B的質量為46單位，速度也為1,400米/秒。

- “ObjectQuant Locator”確定兩個樣本中的粒子數量相同。

- 在執行綜合階段，Cantor綜合這些信息，并利用動能公式（1/2mv^2）來比較兩個樣本的平均動能，從而推斷出哪個樣本具有更高的溫度。

- 最終，在答案生成階段，Cantor得出結論：Sample B由于質量更大，即使速度相同，也會擁有更多的動能，因此溫度更高。

通過這種方法，Cantor能夠有效地結合視覺信息和邏輯推理，解決復雜的視覺推理問題，提供準確的答案。）

3.2. 第1步：決策生成

我們的第一步是生成考慮到并部署問題決策的Pout。請注意，我們正在研究無監督視覺推理任務，這涉及讓模型為問題生成相應的決策而無需真實情況[44, 49]。此外，為了標準化和準確性，我們采用了少量設置提示，為模型提供決策生成提示Pin，其中包括決策生成的要求、可調用模塊的特點以及幾個手動編寫的決策示例。

讓我們詳細介紹Cantor的決策生成過程以及提示Pin的具體組成部分：

1. 擔任決策生成器。我們用“你是一個高級問答代理，需要四個專業模塊來幫助分析和回應有關圖像的查詢”來提示LLM或MLLM，使其能夠在Cantor中充當決策生成器。

2. 專家模塊揭曉。如圖2的專家模塊所示。我們為Cantor提供了每個專家模塊的詳細特點信息，目的是在決策生成階段根據解決問題的原則分配任務給每個專家模塊，如下：TextIntel提取：該模塊提取并轉換圖像中的文本為可編輯文本格式。它特別適用于包含文本和圖形元素混合的圖像。ObjectQuant定位器：該模塊識別并定位圖像中的對象。它在比較數量和識別空間關系方面非常先進。VisionIQ分析師：該模塊處理并解釋視覺數據，使你能夠提出與圖像內容相關的任何查詢。ChartSense專家：該模塊專門分析和解釋圖表和圖形中的信息。它可以提取數據點，了解趨勢，并識別圖表中的關鍵組件，如標題、軸、標簽和圖例。

3. 原理分析和模塊選擇與推理。我們提示Cantor“為你回答問題的方法提供理由，解釋你將如何使用圖像和模塊中的信息來形成一個全面的答案”，對問題進行整體評估和模塊分析。

4. 任務分配。我們提示“根據他們的功能，按需為每個模塊分配特定任務，以收集準確回答問題所必需的額外信息。”，要求Cantor選擇必要的模塊并分配它們相應的特定任務。

5. 上下文洞察和實際應用。我們引入了一些上下文示例以增強Cantor對我們提示的理解，確保其響應符合期望的格式。詳細的實例在補充材料中提供以供進一步參考。

然后，我們輸入需要解決的具體問題及其上下文細節，使Cantor能夠制定微妙的決策。圖2左半部分的藍色部分顯示了一個具體的決策生成示例。

上述五個部分結合形成最終的決策生成提示Pin。隨后，Pin與視覺輸入I和文本輸入T一起，構成了Cantor第一階段的完整輸入，提示Cantor提供深思熟慮的決策Pout。

決策生成方法代表了我們工作的核心新貢獻。最初，LLM或MLLM被用作決策生成器，充當大腦。接下來，集成了一系列專業專家模塊，增強了決策生成，具有類似肢體的多樣化能力。這種整合確保了決策生成既全面又細致，利用每個模塊的優勢。之后，決策生成器根據原則分析中獲得的洞察力為選定的專家模塊定制任務。這種動態任務分配增強了Cantor的效率和有效性。最終，引入上下文示例使MLLM能夠學習和參考，從而進一步提高決策生成的準確性和適應性。值得注意的是，在決策生成階段而不是執行階段提前引入視覺上下文，有效地緩解了確定性幻覺。

3.3. 第2步：執行

在Cantor中，執行階段可以分為兩個階段，執行模塊化和執行綜合。

前者通過調用各種專家模塊并提供輔助信息來完成決策生成階段分配的子任務。后者總結了執行模塊化階段的各種輔助信息，并通過合理和詳細的思考生成最終答案。

執行模塊化。我們調用專家模塊來執行決策生成階段分配的各種子任務。特別地，我們首先從Pout中提取子任務St = {st1, st2...stn}。接下來，我們按順序找到與子任務sti對應的專家模塊，并將子任務sti作為提示輸入到專家中，例如：“ObjectQuant定位器：哪個樣本有更多的顆粒？”。隨后，我們獲得子任務答案sai，例如，“它們的數量相同”，如圖2右下角所示。

象征性地，我們輸入由MLLM扮演的專家，子任務sti和圖像I，MLLM提供了子任務的執行結果。過程如下：sai = G(I, sti)，其中G(·)表示MLLM扮演專家，sai表示子任務的答案。在執行子任務時，我們只使用一個MLLM來扮演不同的專家模塊。這不僅簡化了方法的流程，而且旨在充分利用MLLM的高級認知能力。

執行綜合。我們將獲得的子任務和子任務答案進行串聯和總結，以獲得輔助推理的輔助信息S，如下：S = {[st1, sa1] · [st2, sa2] · ... · [stn, san]}。值得注意的是，在答案生成階段，我們引入了答案生成提示E，其中包括生成答案的提示和格式化要求，如下：“你是一個知識淵博且精通信息整合的科學專家。請根據給定的問題、選項和補充信息逐步思考并回答問題。請注意，我們不僅需要答案，更重要的是，我們需要獲得答案的理由。請結合你的知識和補充信息來獲得推理和答案。請優先使用你的知識回答問題。如果無法回答，請保持批判性思維，并選擇有效信息來幫助你選擇最正確的選項作為答案。此外，請不要僅依賴補充信息，因為提供的補充信息可能并不總是有效的。”

這包括三個關鍵點。首先，我們使用提示讓Cantor扮演一個知識淵博且擅長整合信息的答案生成器的角色。這不僅確保了其專業性和對問題的基本判斷能力，而且還確保了它能夠更好地整合執行模塊化階段獲得的信息。其次，為了提高可解釋性，展示Cantor的思考過程并提高其思考能力，我們要求Cantor首先回答基本原則，然后生成相應的選項，如圖2中的粉色框所示。最后，我們要求Cantor保持理性和批判性，確保它不僅僅依賴于從執行模塊化階段獲得的信息。這種方法促進了更加平衡和全面的執行綜合過程。

4.實驗（略）

5. 結論

在本文中，我們介紹了一個鼓舞人心的多模態思維鏈框架，名為Cantor，旨在增強MLLMs的決策能力。通過深入探討視覺信息在決策生成過程中的關鍵作用，本文強調了在決策階段整合視覺線索的重要性，有效減輕了LLMs可能出現的幻覺問題。Cantor框架的新穎之處還在于其能夠使MLLM模擬特定領域的專家角色，獲取高級信息，從而促進更合理和深入的推理過程。在涉及復雜視覺推理任務的ScienceQA和MathVista挑戰性基準測試中，Cantor展現出了顯著的適應性和有效性，證明了其在解決各個領域現實世界推理問題方面的強有力潛力。

Gao T, Chen P, Zhang M, et al. Cantor: Inspiring Multimodal Chain-of-Thought of MLLM[J]. arXiv preprint arXiv:2404.16033, 2024.

?

本文轉載自公眾號AIRoobt ，作者：AIRoobt

原文鏈接:????https://mp.weixin.qq.com/s/h2cTwcjoTLDO1BdD6f90SA???