文章鏈接：https://arxiv.org/pdf/2507.07104 

項目鏈接：https://tiezheng11.github.io/VLV-WebPage/

亮點直擊

• 視覺-語言-視覺（VLV）自編碼器，這是一種從預訓練文本到圖像擴散模型中實現可擴展且高效知識蒸餾的新框架。該方法僅通過基于圖像的訓練即可學習語言-語義表示。
• 通過策略性整合預訓練模型，構建輕量級但高效的基于LLM的描述解碼器，實現可忽略的訓練開銷。
• 結果表明，所提出的描述生成器相較于GPT-4o等先進VLM展現出高度競爭力，并超越其他參數規模相當的開源模型。
• 對VLV框架涌現特性的研究，特別強調空間語義的保留和高級多圖像組合能力。這些發現凸顯了所學表示的有效性和潛力。

總結速覽

解決的問題

• 高昂的訓練成本：傳統視覺語言模型（VLMs）需要數十億高質量圖文對和數百萬GPU小時訓練，成本極高。
• 數據依賴性強：現有方法依賴大規模配對圖文數據集，數據收集和標注負擔重。
• 生成模型的潛力未充分挖掘：文本到圖像（T2I）擴散模型隱含豐富語義信息，但未被有效用于多模態表征學習（如描述生成、VQA等任務）。
• OCR等特定任務表現不佳：因訓練數據經過美學過濾，缺乏文本/水印圖像，導致OCR能力薄弱。

提出的方案

• Vision-Language-Vision (VLV) 自動編碼器框架：

• 第一階段：利用凍結的T2I擴散解碼器（如Stable Diffusion 2.1），通過連續嵌入蒸餾語義知識，構建信息瓶頸。
• 第二階段：微調預訓練大語言模型（LLM），將中間語言表征解碼為詳細描述。

• 兩階段訓練：
• 組合性支持：通過拼接多圖像的描述嵌入，實現風格遷移和內容組合（如保留物體布局+變換藝術風格）。
• 低成本數據策略：
• 主要使用單模態圖像（無需配對文本），大幅降低數據需求。
• 最大化復用開源預訓練模型（圖像編碼器、T2I擴散模型、LLM）。

應用的技術

• 預訓練模型復用：

• 視覺編碼器：提取圖像特征。
• 凍結擴散解碼器（Stable Diffusion 2.1）：作為語義蒸餾的“教師”。
• 大語言模型（如Qwen-2.5 3B）：解碼嵌入生成描述。

• 正則化語言表征空間：通過凍結擴散解碼器約束嵌入空間，避免過擬合。
• 漸進式訓練：逐步解凍模塊（MLP→LLM→VLV編碼器），平衡性能與成本。
• 可擴展架構：支持數據規模（6M→40M圖像）和模型規模（0.5B→3B參數）的靈活擴展。

達到的效果

• 性能對標頂尖模型：

• 描述生成質量媲美GPT-4o和Gemini 2.0 Flash，但訓練成本極低（<1,000美元，<1,000 GPU小時）。

• 低成本與高可及性：
• 僅需單模態圖像，總訓練開銷控制在1,000美元內。
• 涌現特性：
• 空間一致性：嵌入編碼物體3D姿態和方位，重建圖像保留精確空間關系。
• 組合泛化：通過嵌入拼接實現風格遷移（如梵高風格+物體布局）和內容融合（如柴犬+富士山背景）。
• 可擴展性驗證：
• 數據量（6M→40M圖像）和模型規模（0.5B→3B參數）的擴展均帶來性能提升。

VLV 與 GPT-4o 的描述性保真度相當，成本低三個數量級

方法

本節介紹本文提出的流程，該流程采用視覺-語言-視覺（VLV）自編碼從圖像中蒸餾高保真語義信息，并隨后通過多模態語言模型將這些語義解碼為描述性描述。首先概述流程架構，接著描述如何利用預訓練擴散模型將圖像編碼為緊湊的連續語義嵌入，從而消除訓練期間對顯式圖像-文本對的需求。最后詳細說明如何通過與預訓練大型語言模型（LLM）對齊，將這些嵌入解碼為自然語言描述。

方法概覽

流程概述

VLV旨在通過預訓練的T2I擴散模型從圖像中提取高保真語義信息。先前類似工作直接使用CLIP的離散文本標記作為隱空間表示，并通過Gumbel-Softmax進行優化，導致訓練效率低下且缺乏細粒度語義細節。相比之下，采用連續嵌入空間進行訓練，以獲得更好的收斂性、穩定性和效率，并將嵌入解碼為離散語言標記（類似于多模態LLM），根據圖像的編碼視覺嵌入生成文本標記。

VLV編碼器直接從圖像中提取連續描述嵌入。訓練是完全自監督的：凍結的文本到圖像擴散模型作為解碼器，從描述嵌入中重建圖像。由于擴散模型固定，編碼器必須嵌入所有必要信息以實現忠實重建，從而將擴散模型的豐富視覺知識蒸餾到輕量級視覺主干中，同時無需配對圖像-文本數據。接著微調VLV編碼器與基于LLM的解碼器，將其映射為自然語言描述。由于VLV編碼器獲得的描述嵌入緊湊且僅編碼隱式語義，我們利用預訓練LLM將其解碼為描述性圖像描述。LLM的自回歸架構及其豐富語言知識使其能夠生成長度靈活、自然連貫的句子。該對齊過程使用配對圖像-文本數據。

從擴散模型中蒸餾知識

從語言中心表示解碼描述

本階段目標是將中間表示解碼為可讀的高質量描述。先前結構設計采用固定長度詞標記，與圖像語義復雜度的固有差異矛盾（例如蘋果圖片與大城市圖片的語義復雜度不同）。這種設定限制了圖像編碼的有效性和靈活性，導致重建潛力喪失。為此，本文提出基于LLM的VLV描述解碼器，可從緊湊語義嵌入中解碼長度靈活的自然語言描述。

實驗

本節首先描述VLV兩階段的實驗設置，隨后報告文本到圖像生成、描述質量人工評估和視覺問答基準的定量結果。最后呈現兩項消融研究：(i) 可訓練參數研究，探討信息瓶頸中可學習查詢數量與漸進解凍策略對描述解碼器訓練的影響；(ii) 訓練數據規模與解碼器模型尺寸的擴展性分析。

實驗設置

數據收集：從LAION-5B子集LAION-2B-en-aesthetic中篩選40M圖像，保留短邊>512像素、寬高比0.5-2、水印概率<0.5的樣本用于無文本監督的VLV自編碼器訓練。另使用Gemini-2.0 Flash為6M圖像生成描述，構建對齊圖像-文本對以微調輕量級語言解碼器。盡管僅使用WebLI數據集0.4%的樣本（40M/100億），我們的方法仍通過視覺-語言-視覺自編碼流程學習到強語言導向語義。

主要結果

基于描述的文本條件重建

通過將生成描述輸入Stable Diffusion 3.5 Medium，在MS-COCO 2014驗證集的30K樣本上計算合成圖像與原始圖像的FID。如下表1所示，我們的描述FID與GPT-4o差異<0.5，顯著優于Florence-2和Qwen2.5-VL，僅略低于閉源Gemini 2.0 Flash。下圖3展示了由描述嵌入與解碼描述生成圖像的定性結果，驗證了嵌入的保真度。

描述競技場：VLM與人工評分

基于覆蓋度、無幻覺和空間布局一致性三項標準（附錄7分量表），對MS-COCO 2014驗證集200張圖像的描述（Qwen-2.5 VL、GPT-4o、VLV生成）進行評測。每對圖像-描述由Gemini 2.0 Flash和3位人類評分者獨立打分。如下表2所示，VLV與GPT-4o分差<0.05，平均超越Qwen-2.5-VL-7B 0.15分，且獲1/3人類評分者偏好，證實了其媲美商業VLM的人類級表現。

純文本視覺問答

將描述作為圖像上下文輸入LLM提示，在VQAv2和OK-VQA驗證集上評估。如下表3所示，零樣本設置下VLV落后最佳基線約3%，但通過4樣本和32樣本上下文學習顯著提升（VQAv2提升5%，OK-VQA提升15%），最終與最優結果差距<1%。盡管非全場景最優，VLV以更低成本實現可比性能，凸顯其擴展性優勢。

消融研究

可訓練參數分析：信息瓶頸中可學習查詢數量與漸進解凍策略對解碼器性能的影響如圖4所示，77查詢配合分層解凍達到最佳權衡。擴展性驗證：訓練數據從6M增至40M時，VQA準確率提升12%；解碼器參數量從1B擴至7B進一步帶來9%增益（下圖5），證實框架的強擴展潛力。

消融研究

本節進行兩項互補的消融研究：(1) 可訓練參數分析。通過以下方式探究可訓練參數的影響：(i) 訓練VLV自動編碼器時改變可學習查詢的維度，(ii) 訓練LLM解碼器時選擇性解凍VLV編碼器的各個模塊。(2) 可擴展性分析。通過以下方式測試性能擴展性：(i) 將訓練數據規模從6M逐步擴展到18M和40M圖像，(ii) 將自回歸描述解碼器的參數量從0.5B增加到1.5B和3B。

VLV的可擴展性。在訓練VLV自動編碼器時，在模型處理6M和18M圖像后保存中間檢查點。為評估可擴展性，每個檢查點用于提取MS-COCO 2014驗證集30K圖像的描述嵌入。將這些嵌入輸入凍結的擴散解碼器以重建圖像，結果FID分數如下表5所示。進一步通過將Qwen-2.5 3B描述解碼器替換為1.5B和0.5B變體（其他組件固定）來探究模型容量。兩種情況中，FID均隨數據量或解碼器規模減小而平滑下降，證實VLV可從更多訓練圖像和更大語言解碼器中獲得可預測的收益。

涌現特性

超越文本的表征學習：3D視覺感知

除豐富細節外，本文發現嵌入還具有可擴展的空間感知能力。訓練過程中，隨著擴散解碼器接觸更多圖像，模型逐步優化其空間先驗。為量化此效應，使用Gemini 2.0 Flash恢復原始圖像中主要物體的3D邊界框，并與從描述嵌入重建的邊界框進行比較。下表6顯示姿態估計誤差持續降低，下圖4示例表明VLV不僅能更準確捕捉單個物體的姿態，還能更好保持其空間關系。這些結果證明VLV有效將更大訓練圖像集轉化為更清晰的空間理解，如前面圖5所示。

多圖像語義的組合性

VLV語義表示空間展現出跨多圖像的強組合特性，如圖6所示。最左側示例中，從兩張圖像出發：

• 一只位于畫面左側的西伯利亞貓照片；
• 梵高風格的畫作。

通過截斷每個描述嵌入的尾部token并拼接結果向量，創建聯合嵌入輸入Stable Diffusion 2.1。合成輸出既保留了貓的空間布局，又繼承了梵高風格，表明我們的嵌入同時編碼了內容（如物體身份與位置）和風格（如藝術渲染）。值得注意的是，這種組合行為無需額外微調或依賴文本提示即可涌現。更多風格遷移示例如卡通和迪士尼風格的柴犬、試穿場景（如戴墨鏡的男子或穿連帽衫的男子），以及簡單物體組合（如坐在富士山前的柴犬與帽子上的墨鏡）。

結論

Vision-Language-Vision（VLV）自動編碼器，這是一種從開源預訓練文本條件擴散模型中蒸餾可擴展高效知識的新框架。通過策略性設計的二階段訓練流程，VLV將凍結擴散解碼器的語義豐富表征蒸餾為緊湊連續的嵌入，隨后利用開源預訓練大語言模型將這些嵌入轉化為詳細自然語言描述。實驗表明，VLV在描述性能上達到與GPT-4o和Gemini 2.0 Flash等領先模型相當的先進水平，同時顯著降低訓練成本與數據需求。值得注意的是，本方法主要使用單模態圖像，將訓練開支控制在1,000美元以內，極大提升了可及性。此外，探索了框架的涌現特性，突出其強空間一致性與高級組合泛化能力。相信VLV的效率、有效性和可解釋性將為可擴展且經濟高效的多模態學習研究開辟新途徑。

局限性與未來工作。由于訓練數據經過美學評分過濾，VLV在OCR（光學字符識別）任務上表現較差（缺乏含文本或水印的數據）；通過增補文檔/街景圖像或添加輕量OCR分支可提升OCR場景性能。另一局限是當前流程使用過時的Stable Diffusion 2.1作為生成解碼器，限制了可遷移知識的上界，因此從SD 3.5或FLUX等最新擴散模型重新蒸餾是后續工作。此外，將VLV擴展至視頻模態也值得探索，因為視頻能提供更多動態信息，可能涌現更強的空間表征及基于物理的世界語義理解能力。

本文轉自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/72AUOvLfrINPrVaDkCSfEw??