ICCV 2025｜UV-CoT：無監(jiān)督視覺推理新突破，偏好優(yōu)化重塑圖像級思維鏈
本文第一作者是來自南洋理工大學的博士生趙克森，主要研究方向為 Reinforcement Learning in MLLMs. 該論文已被 ICCV 2025 錄用。
隨著文本領(lǐng)域中思維鏈（Chain-of-Thought，CoT）推理機制的成功應(yīng)用，研究者開始將該方法引入視覺理解任務(wù)，以提升模型的推理能力和可解釋性。
然而，現(xiàn)有模型局限于文本級別的思維鏈推理，且處理圖像的粒度固定，難以根據(jù)語義線索動態(tài)關(guān)注圖像中的關(guān)鍵區(qū)域。針對上述問題，本文提出 UV-CoT（Unsupervised Visual Chain-of-Thought），一種無監(jiān)督視覺思維鏈推理新框架。
該方法以「關(guān)鍵區(qū)域→推理過程」的人類視覺理解方式為參考（如下圖所示），設(shè)計了無監(jiān)督的數(shù)據(jù)生成與偏好優(yōu)化機制，動態(tài)聚焦關(guān)鍵區(qū)域，實現(xiàn)細粒度推理，顯著提升了模型的空間感知與圖文推理能力。
- 論文標題：Unsupervised Visual Chain-of-Thought Reasoning via Preference Optimization
- 論文鏈接：https://arxiv.org/abs/2504.18397
- 項目地址：https://kesenzhao.github.io/my_project/projects/UV-CoT.html
- 代碼倉庫：https://github.com/kesenzhao/UV-CoT
- 開源模型: https://huggingface.co/papers/2504.18397
背景：有監(jiān)督訓練
需要高昂的人工成本
現(xiàn)有方法采用有監(jiān)督微調(diào)（Supervised Fine-Tuning, SFT）策略訓練模型，使用大量有標簽的思維鏈推理數(shù)據(jù)，由人工標注關(guān)鍵區(qū)域及其推理過程。這類方法面臨以下挑戰(zhàn)：
（1）人工標注成本高，擴展性差：標注關(guān)鍵圖像區(qū)域和推理路徑需要耗費大量人力和時間，尤其在復雜視覺語義理解任務(wù)中，難以適應(yīng)多任務(wù)或大規(guī)模場景。
（2）訓練信號單一，泛化能力有限： SFT 僅利用人工標注的「正樣本」（正確區(qū)域及回答），忽略其他潛在合理或不合理的區(qū)域與推理路徑，導致模型在未知場景下的泛化能力不足。
UV-CoT 設(shè)計了一套自動化的偏好數(shù)據(jù)生成與評估流程，結(jié)合改進的偏好優(yōu)化算法 Score-DPO（sDPO），在不依賴人工標注的前提下，通過偏好評分排序引導模型實現(xiàn)無監(jiān)督圖像級思維鏈學習（如下圖所示）。
貢獻一：無監(jiān)督偏好數(shù)據(jù)生成與評估
V-CoT 利用目標模型
和評估模型
，為圖像 - 問題對生成多樣化的中間推理響應(yīng)，并通過偏好評分構(gòu)建偏好數(shù)據(jù)集。主要步驟如算法 1 所述：
- 響應(yīng)生成：在每個推理時間步 t，使用目標模型
通過隨機種子生成 n 個多樣化的響應(yīng)（包括邊界框和中間推理結(jié)果）。 - 響應(yīng)評估：評估模型
綜合考慮所選區(qū)域的得分 
及對后續(xù)回答的影響 
。
- 偏好對構(gòu)建：從響應(yīng)中隨機選擇 k 個偏好對（偏好和非偏好思維鏈），形成偏好數(shù)據(jù)集。
- 響應(yīng)選擇：保留最高評分的響應(yīng)鏈，用于下一時間步的推理。通過動態(tài)生成偏好數(shù)據(jù)，UV-CoT 減少了對高質(zhì)量標注數(shù)據(jù)的依賴，能夠在無監(jiān)督數(shù)據(jù)條件下實現(xiàn)圖像級思維鏈推理。
貢獻二： sDPO 與迭代學習
UV-CoT 使用改進的直接偏好優(yōu)化（DPO）算法 sDPO，通過引入偏好分數(shù)差異優(yōu)化圖像級思維鏈推理，并采用迭代學習策略動態(tài)適應(yīng)模型輸出分布。
sDPO 損失函數(shù)如下：
相比標準 DPO，sDPO 通過 
引入偏好分數(shù)的差異，量化偏好和非偏好響應(yīng)之間的強度，提升對關(guān)鍵圖像區(qū)域的影響建模。
迭代學習 (如算法 2)：將數(shù)據(jù)集分為 m 個子集，迭代 m 次，每次使用當前模型
生成偏好數(shù)據(jù) D_i，并用 sDPO 優(yōu)化得到下一模型 
。 通過動態(tài)更新偏好數(shù)據(jù)，緩解訓練數(shù)據(jù)與模型生成分布的差異，增強訓練魯棒性。
實驗亮點
顯著性能提升（表 1）：在六大基準上，優(yōu)于有監(jiān)督的思維鏈模型 Visual-CoT-7B，遠超目標模型 LLaVA-1.5-7B 和其他無思維鏈模型。
泛化能力強，易于拓展（表 2）：在零樣本設(shè)置下，UV-CoT 平均提升 2.5%，添加額外無標注數(shù)據(jù)后，平均提升達 5.1%。
勝任高分辨率場景（表 3）：在 V* Bench 上，UV-CoT 平均得分 0.402，平均提升 5.5%，尤其在 OCR 任務(wù)中提升 8.4%。
不依賴評估模型，邊界框生成質(zhì)量高（表 5）：UV-CoT 通過自評估（目標模型作為評估器）表現(xiàn)仍遠超目標模型 LLaVA-1.5-7B（+4.8%），接近 12B 模型 OmniLMM-12B（-0.2%）。將 UV-CoT 生成的邊界框應(yīng)用于 OmniLMM-12B 和 LLaVA-1.5-7B 輔助推理，性能分別提升 7.3% 和 4.7%。
偏好數(shù)據(jù)與思維鏈推理可視化：
結(jié)語
UV-CoT 提出了一種創(chuàng)新的無監(jiān)督視覺思維鏈推理框架，通過自動化的數(shù)據(jù)生成與對比評估機制，成功擺脫了對人工標注的依賴，實現(xiàn)了關(guān)鍵圖像區(qū)域的自動識別與推理優(yōu)化。該方法為高效、可擴展的多模態(tài)推理提供了新思路，為未來無監(jiān)督視覺理解研究奠定了堅實基礎(chǔ)。
