本文的主要作者來自南洋理工大學 S-Lab、騰訊公司和清華大學智能視覺實驗室。本文的共同第一作者為南洋理工大學博士生董宇昊和清華大學自動化系博士生劉祖炎，主要研究方向為多模態(tài)模型。本文的通訊作者為南洋理工大學助理教授劉子緯和騰訊高級研究員饒永銘。

大語言模型（LLMs）通過更多的推理展現(xiàn)出了更強的能力和可靠性，從思維鏈提示發(fā)展到了 OpenAI-o1 這樣具有較強推理能力的模型。盡管人們?yōu)楦倪M語言模型的推理做出了種種努力，但在多模態(tài)視覺語言任務中，高質(zhì)量的長鏈推理數(shù)據(jù)以及優(yōu)化的訓練流程仍未得到充分的探索。

為了解決上述問題，來自南洋理工大學、騰訊、清華大學的研究者們提出一種能夠進行長鏈視覺推理的多模態(tài)模型 Insight-V。Insight-V 提供了 1）針對復雜的多模態(tài)任務，可擴展地生成冗長且可靠的推理數(shù)據(jù)；2）建立有效的訓練流程，以增強多模態(tài)語言模型的推理能力。

Insight-V 的核心創(chuàng)新點包括：1）一個用于生成長鏈、高質(zhì)量推理數(shù)據(jù)的可擴展的數(shù)據(jù)生成流程；2）一個將視覺推理任務分解為推理和總結(jié)的多智能體系統(tǒng)；3）一個用于增強視覺推理能力的兩階段訓練流程。這些設計賦予了 Insight-V 較強的視覺推理能力。

• 論文：https://arxiv.org/abs/2411.14432
• 代碼：https://github.com/dongyh20/Insight-V
• 模型：https://huggingface.co/THUdyh/Insight-V-Reason

1. 介紹

現(xiàn)有的研究通過長鏈推理來提升語言模型（LLMs）的推理能力，已經(jīng)取得了顯著進展，這在很大程度上得益于結(jié)構(gòu)化、高質(zhì)量數(shù)據(jù)的可獲取性以及成熟的訓練流程。相比之下，多模態(tài)語言模型（MLLMs）進行長鏈視覺推理仍然是一項重大挑戰(zhàn)，主要原因是缺乏大規(guī)模、高質(zhì)量的數(shù)據(jù)集以及高效有效的訓練策略。與純文本數(shù)據(jù)相比，視覺推理數(shù)據(jù)不僅收集成本更高，而且由于缺乏有效的數(shù)據(jù)生成流程，還需要大量人力來進行詳細標注和驗證。此外，當前的多模態(tài)語言模型無法有效利用視覺線索進行精確的視覺推理，需要一種有效的訓練程序，使多模態(tài)語言模型在保持清晰視覺感知的同時能夠進行詳細推理。

圖 1：Insight-V 方法展示。

為了解決以上挑戰(zhàn)，本文提出了一個視覺推理的多模態(tài)系統(tǒng) Insight-V，能夠?qū)崿F(xiàn)結(jié)構(gòu)化的長鏈視覺推理。如圖 1 所示，Insight-V 由兩個智能體組成，一個專門負責推理，另一個負責總結(jié)，這使得它在各類視覺推理基準測試中的性能有了顯著提升。

Insight-V 的主要貢獻包括：

• 一個用于生成長鏈、高質(zhì)量推理數(shù)據(jù)的可擴展的數(shù)據(jù)生成流程。通過利用已有的模型構(gòu)建數(shù)據(jù)生成流程，從而提供豐富的，可擴展的視覺推理訓練數(shù)據(jù)。
• 一個將視覺推理任務分解為推理和總結(jié)的多智能體系統(tǒng)。通過將視覺任務分解為推理和總結(jié)，并利用不同的模型來分別解決不同的任務，來提升視覺推理能力。
• 一個用于增強視覺推理能力的兩階段訓練流程，從而使 Insight-V 能夠在視覺推理評測集上取得優(yōu)異的性能。

我們提供了 Insight-V 的模型權(quán)重，在視覺推理任務上表現(xiàn)出色，在 7B 規(guī)模下取得了綜合最好的結(jié)果，在部分數(shù)據(jù)集超過最先進的綜合模型和商業(yè)模型，為多模態(tài)視覺推理的發(fā)展提供了一個值得探索的方向。

2. 方法概覽

結(jié)構(gòu)化推理數(shù)據(jù)構(gòu)建

圖 2：結(jié)構(gòu)化數(shù)據(jù)構(gòu)建。

現(xiàn)有的研究已經(jīng)探索了將推理能力融入多模態(tài)大型語言模型（MLLMs）中。然而，訓練 MLLMs 具備強大的推理技能仍然是一個相當大的挑戰(zhàn)，尤其是由于數(shù)據(jù)方面的限制。為了解決這一問題，我們介紹了提出的數(shù)據(jù)生成流程，該流程旨在通過漸進式生成過程和多粒度評估來生成高質(zhì)量的長鏈推理數(shù)據(jù)。如圖 2 所示，這種可擴展的方法使我們能夠生成高質(zhì)量的數(shù)據(jù)，從而有效地提升模型的推理能力。

漸進式長鏈推理數(shù)據(jù)生成。我們通過調(diào)用能力強大的多模態(tài)綜合模型，來收集單步推理結(jié)果。在每一步推理結(jié)束之后，模型根據(jù)歷史的推理結(jié)果來生成針對下一輪推理的動作，如果動作為‘繼續(xù)推理’，下一步模型繼續(xù)執(zhí)行單步推理；如果動作為‘總結(jié)’，下一步模型根據(jù)歷史推理內(nèi)容總結(jié)得出答案。

多粒度評估。我們通過兩個步驟來對生成的推理數(shù)據(jù)進行評估。首先，我們直接使用真實答案來對推理數(shù)據(jù)進行過濾，過濾掉最終答案錯誤的數(shù)據(jù)。之后，我們使用一個推理步驟打分模型，來針對推理數(shù)據(jù)的質(zhì)量進行打分，將推理數(shù)據(jù)分為不同質(zhì)量的子集，以供最后訓練數(shù)據(jù)集的構(gòu)建。

模型設計

推理模型。我們提出了一種專門的推理智能體，其旨在針對輸入查詢生成一個詳細的、逐步推進的推理過程。我們通過為每個問題選取得分最高的推理路徑來構(gòu)建推理數(shù)據(jù)集。在基于該數(shù)據(jù)集進行訓練之后，模型轉(zhuǎn)變?yōu)橐粋€具有更強推理能力的推理智能體，使其能夠生成更詳細、結(jié)構(gòu)化的推理過程。

總結(jié)模型。我們開發(fā)了一種對推理路徑中的不準確之處具有較強適應性的總結(jié)模型，該模型可根據(jù)需要有選擇性地納入或忽略某些元素。這種方法在最大程度發(fā)揮推理模型效能的同時，將引入誤導性信息的風險降至最低。我們利用所收集的數(shù)據(jù)集來完成總結(jié)任務，該數(shù)據(jù)集由兩類數(shù)據(jù)組成：具有最優(yōu)推理過程的數(shù)據(jù)和具有有缺陷推理過程的數(shù)據(jù)。此外，為了保留原有的多模態(tài)能力，我們用標準問答數(shù)據(jù)對數(shù)據(jù)集進行補充，以維持總結(jié)智能體在直接問答方面的性能。

圖 3：訓練流程。

訓練策略

Insight-V 的訓練策略簡單直接。我們從一個已經(jīng)訓練好的多模態(tài)模型出發(fā)，利用這個模型的權(quán)重來初始化 Insight-V 當中的兩個模型。

第一階段，我們進行多智能體系統(tǒng)的監(jiān)督微調(diào)。對于推理模型，我們利用精心整理的推理數(shù)據(jù)集來培養(yǎng)逐步推理的能力。對于總結(jié)模型，我們按照上文所述構(gòu)建了一個數(shù)據(jù)集，并從用于基礎模型的數(shù)據(jù)集中抽取了大約一百萬對通用的圖文組合，以保留其原有的視覺感知能力。

在第二階段，我們利用強化學習算法來進一步提升模型的推理能力。我們使用迭代式直接偏好優(yōu)化（Iterative DPO）。通過進行多輪直接偏好優(yōu)化（DPO）訓練和抽樣，這種方法能使該模型在訓練期間更好地模擬在線環(huán)境，從而進一步提升其性能。

3. 實驗結(jié)果

視覺推理

我們在 7 個基準測試上開展了評估實驗，涵蓋了通用推理和特定任務推理評估。當應用于 LLaVA-NeXT 和我們的基線模型時，Insight-V 展現(xiàn)出了顯著的有效性和通用性，大幅超越了其他最先進的大型語言模型（MLLMs）。在 MMStar 數(shù)據(jù)集中，Oryx 取得 61.5% 的平均準確率。在 MME 數(shù)據(jù)集上取得了 2312 的總分，并且在 MME 的感知和認知子任務上都取得了先進的結(jié)果。針對 7 個數(shù)據(jù)集的平均結(jié)果，Insight-V 表現(xiàn)出色，超越了一系列先進的模型。

基礎視覺感知

為了更進一步測試 Insight-V 的通用性，我們在一些側(cè)重評估模型基礎視覺感知能力的數(shù)據(jù)集上進行了測試。結(jié)果表明，InsightV 在不影響一般視覺感知能力的情況下提升了推理能力，甚至在對感知能力要求更高的基準測試上也實現(xiàn)了性能提升。當 Insight-V 與 LLaVA-NeXT 模型結(jié)合時，在 TextVQA，DocVQA，OCRBench，AI2D 等測試集上都有顯著的性能提升，當與我們構(gòu)建的更強的基礎模型結(jié)合時，在這些 benchmark 上也表現(xiàn)出了更好的結(jié)果。

分析實驗

多智能體系統(tǒng)的有效性。針對 Insight-V 的設計，我們與其他可能的設計選擇進行了對比，包括直接進行微調(diào)、多輪對話監(jiān)督、只訓練總結(jié)模型。結(jié)果顯示，多智能體設計的表現(xiàn)優(yōu)于其他配置，突出了推理和總結(jié)分解的關鍵作用。

數(shù)據(jù) Scaling Law 實驗。我們研究了數(shù)據(jù)擴展對于 Insight-V 的影響，尤其是對于推理模型的效果。結(jié)果表明，隨著推理模型訓練數(shù)據(jù)的擴展，推理模型的性能得到了顯著的提升。推理模型得益于數(shù)據(jù)擴展，能為總結(jié)模型提供更有價值的見解。

強化學習算法的效果。我們探究了不同的強化學習策略對于推理模型效果的影響。我們對比了使用 RLAIF 數(shù)據(jù)進行訓練，直接進行 DPO 以及 Insight-V 的多輪迭代式 DPO。結(jié)果顯示，相比其他方法，迭代直接偏好優(yōu)化（Iterative DPO）逐步增強了模型的推理能力，從而帶來了性能的提升。

4. 案例分析

我們對 Insight-V 與思維鏈（Chain-of-Thought）以及通過直接監(jiān)督微調(diào)學習進行了定性比較。對于 Insight-V 系統(tǒng)而言，其推理智能體能夠提供一個更加連貫且結(jié)構(gòu)化的推理過程，從而引導總結(jié)智能體得出正確答案；然而，其他方法在面對復雜推理任務時會顯得吃力，無法解決這類具有挑戰(zhàn)性的問題。

5. 總結(jié)

在本文中，我們介紹了 Insight-V，這是一種新穎的系統(tǒng)，它將用于長鏈、高質(zhì)量推理數(shù)據(jù)的可擴展數(shù)據(jù)生成系統(tǒng)與有效的多智能體訓練系統(tǒng)相結(jié)合，以增強多模態(tài)語言模型（MLLMs）的推理能力。通過開發(fā)該系統(tǒng)，我們提供了一種旨在提高推理性能的可擴展模型訓練方法。我們在各種基準測試中的廣泛評估證明了我們這種方法的有效性，為賦予多模態(tài)語言模型更強的推理能力鋪平了道路。