文章鏈接：https://arxiv.org/pdf/2505.09568 
代碼鏈接：https://github.com/JiuhaiChen/BLIP3o 
模型鏈接：https://huggingface.co/BLIP3o/BLIP3o-Model 
預訓練數據：https://huggingface.co/datasets/BLIP3o/BLIP3o-Pretrain 
優化數據：https://huggingface.co/datasets/BLIP3o/BLIP3o-60k

亮點直擊

• 創新架構設計: 首次采用擴散Transformer生成CLIP語義特征，突破傳統VAE局限，實現高效訓練與高質量生成。
• 分階段訓練策略: 通過“理解優先，生成擴展”的序列化訓練，兼顧模型的雙向能力，避免聯合訓練的性能沖突。
• 高質量數據驅動: 基于GPT-4o構建的BLIP3o-60k數據集，顯著提升生成圖像的美學與指令跟隨能力，填補領域空白。

總結速覽

解決的問題

• 統一多模態模型中圖像理解與生成的架構設計和訓練策略尚未充分探索。
• 現有方法在圖像表示（如VAE與CLIP特征）、訓練目標（如MSE與Flow Matching）和訓練策略（如聯合訓練與分階段訓練）上的優劣不明確。
• 缺乏高質量指令微調數據集以提升生成圖像的美學質量和人類偏好對齊。

提出的方案

• 引入基于擴散Transformer的模型，生成語義豐富的CLIP圖像特征，替代傳統的VAE表示。
• 采用分階段預訓練策略：先訓練圖像理解任務，再擴展至圖像生成任務，凍結理解部分以保持能力。
• 構建高質量指令微調數據集BLIP3o-60k，通過GPT-4o生成多樣化提示（場景、物體、人類動作等）以優化生成對齊。

應用的技術

• 圖像表示：CLIP圖像編碼器提取高層語義特征，擴散Transformer生成特征。
• 訓練目標：Flow Matching損失替代MSE，提升生成多樣性和質量。
• 訓練策略：分階段訓練（理解→生成）結合參數凍結。
• 數據構建：基于GPT-4o的指令微調數據集BLIP3o-60k。

達到的效果

• 效率與質量：CLIP特征訓練效率更高，生成質量優于VAE；Flow Matching損失提升多樣性。
• 性能指標：BLIP3-o在MME-P（1682.6）、MMMU（50.6）、GenEval（0.84）等基準上達到SOTA。
• 開源貢獻：完整開源模型權重、代碼、訓練腳本及數據集，推動社區研究。

統一的多模態圖像生成與理解

動機

近年來，開發同時支持圖像理解與生成的統一多模態架構已成為一個前景廣闊的研究方向。諸如Janus、Show-o、MetaMorph、Janus-Pro和LMFusion等模型是早期嘗試在單一框架內橋接圖像理解與生成的代表。最近，OpenAI的GPT-4o通過展示高質量圖像生成和強大多模態理解能力，進一步激發了這一范式的興趣。盡管關注度日益增長，但實現此類統一能力的底層設計原則和訓練策略仍未得到充分探索。本研究旨在系統性地探究并推動統一模型的開發，我們首先明確闡述構建統一多模態模型的關鍵動機。

推理與指令跟隨

將圖像生成能力集成到自回歸模型（如多模態大語言模型MLLMs）中，有望繼承其預訓練知識、推理能力和指令跟隨能力。例如，本文的模型能夠直接理解“一種長鼻子動物”等提示，而無需重寫提示。這展現了傳統圖像生成模型難以企及的推理能力和世界知識。除推理外，當MLLMs的指令跟隨能力被整合到統一架構中時，預計也能延續至圖像生成過程。

上下文學習

同時支持圖像理解與生成的統一模型天然具備上下文學習能力。此類模型中，先前生成的多模態輸出可作為后續生成的上下文，從而無縫支持迭代圖像編輯、視覺對話和逐步視覺推理。這消除了模式切換或依賴外部處理流程的需求，使模型能保持連貫性和任務連續性。

邁向多模態AGI

隨著人工智能向通用人工智能（AGI）發展，未來系統需超越純文本能力，無縫感知、解釋和生成多模態內容。實現這一點需要從純文本架構轉向統一的多模態架構，使其能跨模態推理與生成。此類模型對于構建能以整體、類人方式與世界交互的通用智能至關重要。

結合自回歸與擴散模型

OpenAI的GPT-4o近期在圖像理解、生成和編輯任務中展現了最先進性能。其架構的新興假設表明其采用混合流程：

這意味著自回歸和擴散模型可能被聯合利用以結合兩者優勢。受此混合設計啟發，我們在研究中采用自回歸+擴散框架。但該框架下的最優架構仍不明確。自回歸模型生成連續的中間視覺特征以逼近真實圖像表示，這引發兩個關鍵問題：第一，應使用何種真實嵌入——用VAE還是CLIP將圖像編碼為連續特征？第二，自回歸模型生成視覺特征后，如何最優地將其與真實圖像特征對齊，或更廣義地說，如何建模這些連續視覺特征的分布：通過簡單MSE損失，還是采用基于擴散的方法？下面全面探索各種設計選擇。

統一多模態中的圖像生成

現在討論構建統一多模態框架內圖像生成模型的設計選擇。首先探索如何通過編碼器-解碼器架構將圖像表示為連續嵌入，這對學習效率和生成質量具有基礎性作用。

圖像編碼與重建

圖像生成通常始于用編碼器將圖像編碼為連續潛在嵌入，隨后通過解碼器從該嵌入重建圖像。這一編碼-解碼流程能有效降低圖像生成的輸入空間維度，提升訓練效率。下文討論兩種廣泛使用的編碼器-解碼器范式。

變分自編碼器

變分自編碼器（VAEs）是一類生成模型，其學習將圖像編碼到結構化的連續潛在空間。編碼器近似給定輸入圖像時潛在變量的后驗分布，而解碼器從該潛在分布采樣重建圖像。潛在擴散模型在此基礎上通過建模壓縮潛在表示的分布（而非原始像素）進一步擴展。通過在VAE潛在空間操作，這些模型顯著降低輸出空間維度，從而減少計算成本并實現更高效訓練。去噪步驟后，VAE解碼器將生成的潛在嵌入映射回原始像素。

CLIP編碼器與擴散解碼器

CLIP模型因其通過大規模圖文對比訓練提取豐富高層語義特征的能力，已成為圖像理解任務的基礎編碼器。但利用這些特征進行圖像生成仍具挑戰，因CLIP最初并非為重建任務設計。Emu2提出實用方案：將CLIP編碼器與擴散解碼器配對。具體而言，它使用EVA-CLIP將圖像編碼為連續視覺嵌入，并通過基于SDXL-base初始化的擴散模型重建。訓練時，擴散解碼器被微調以使用EVA-CLIP的視覺嵌入作為條件從高斯噪聲恢復原圖，而EVA-CLIP保持凍結。該過程將CLIP與擴散模型有效結合為圖像自編碼器：CLIP編碼器將圖像壓縮為語義豐富的潛在嵌入，擴散解碼器從這些嵌入重建圖像。值得注意的是，盡管解碼器基于擴散架構，其訓練采用重建損失而非概率采樣目標。因此在推理時，模型執行確定性重建。

討論

VAE和CLIP-擴散這兩種編碼器-解碼器架構代表了圖像編碼與重建的不同范式，各有優勢和權衡。VAE將圖像編碼為低層像素特征并提供更好重建質量。此外，VAE作為現成模型廣泛可用，可直接集成到圖像生成訓練流程中。相比之下，CLIP-擴散需額外訓練以使擴散模型適配不同CLIP編碼器。但CLIP-擴散架構在圖像壓縮比方面優勢顯著。例如在Emu2和本文的實驗中，無論分辨率如何，每張圖像均可被編碼為固定長度64的連續向量，提供緊湊且語義豐富的潛在嵌入。而基于VAE的編碼器對高分辨率輸入傾向于生成更長的潛在嵌入序列，這會增加訓練過程的計算負擔。

潛在圖像表示的建模

其中W表示可學習的投影矩陣。 

流匹配

僅使用 MSE 損失只會將預測圖像特征Q對齊到目標分布的均值。一個理想的訓練目標應當能夠建模連續圖像表示的概率分布。本文提出使用 流匹配（flow matching）方法 ，這是一種擴散框架，可以通過迭代地將樣本從先驗分布（例如高斯分布）遷移到目標連續分布中進行采樣。

討論

與離散 token 不同，離散 token 天然支持基于采樣的策略來探索多樣的生成路徑，而連續表示不具備這一特性。具體而言，在基于 MSE 的訓練目標下，對于給定的提示，預測出的視覺特征Q幾乎是確定性的。因此，生成的圖像（無論視覺解碼器是基于 VAE，還是基于 CLIP + Diffusion 架構）在多次推理中幾乎是相同的。這種確定性揭示了 MSE 目標的一個關鍵局限性：它限制模型為每個提示生成一個固定輸出，從而限制了生成的多樣性。

相比之下，流匹配框架使模型能夠繼承擴散過程中的隨機性。這使得模型可以在同一提示條件下生成多樣的圖像樣本，有助于更廣泛地探索輸出空間。然而，這種靈活性也帶來了模型復雜度的提升。與 MSE 相比，流匹配引入了額外的可學習參數。在本文實現中，使用了擴散Transformer（DiT），并在實驗中發現擴大其容量能夠顯著提升性能。

設計選擇

不同的圖像編碼器–解碼器架構和訓練目標的組合產生了多種圖像生成模型的設計選擇。這些設計選擇如下圖 3 所示，在很大程度上影響生成圖像的質量和可控性。總結并分析了由不同編碼器類型（例如 VAE 與 CLIP 編碼器）和損失函數（例如 MSE 與流匹配）引入的權衡。

CLIP + MSE

參考 Emu2、Seed-X 和 Metamorph，使用 CLIP 將圖像編碼為 64 維的固定長度、語義豐富的視覺嵌入。自回歸模型被訓練以最小化預測視覺特征  與真實 CLIP 嵌入  之間的均方誤差（MSE）損失，如圖 3(a) 所示。在推理階段，給定文本提示 ，自回歸模型預測潛在視覺特征 ，隨后這些特征被傳遞給基于擴散的視覺解碼器以重建真實圖像。

CLIP + 流匹配

作為 MSE 損失的替代方案，我們采用流匹配損失來訓練模型預測真實的 CLIP 嵌入，如前圖 3(b) 所示。給定提示C ，自回歸模型生成一組視覺特征Q 。這些特征作為條件，用于引導擴散過程，生成的預測 CLIP 嵌入用以逼近真實的 CLIP 特征。本質上，推理流程包括兩個擴散階段：第一個階段使用條件視覺特征Q迭代去噪為 CLIP 嵌入，第二個階段將這些 CLIP 嵌入轉化為真實圖像，依然是通過基于擴散的視覺解碼器。該方法在第一階段允許進行隨機采樣，從而提升圖像生成的多樣性。

VAE + 流匹配

我們也可以使用流匹配損失來預測真實的 VAE 特征，如圖 3(c) 所示，這類似于 MetaQuery。在推理時，給定提示C ，自回歸模型生成視覺特征 Q。然后，在以Q為條件、逐步去除噪聲的過程中，通過 VAE 解碼器生成真實圖像。

VAE + MSE

由于本文的重點在于自回歸 + 擴散的框架，不考慮 VAE + MSE 的方法，因為它們未包含任何擴散模塊。

實現細節

為了比較各種設計選擇，使用 Llama-3.2-1B-Instruct 作為自回歸模型。訓練數據包括 CC12M、SA-1B 和 JourneyDB，總計約 2500 萬條樣本。對于 CC12M 和 SA-1B，我們使用 LLaVA 生成的詳細圖像描述；對于 JourneyDB，我們使用其原始的標題說明。

結果

在 MJHQ-30k 數據集上報告了 FID 分數，用于評估圖像的審美質量，同時使用 GenEval和 DPG-Bench 指標評估提示對齊情況。每隔約 3,200 個訓練步記錄一次各個設計方案的結果。下圖 4 顯示，CLIP + Flow Matching 在 GenEval 和 DPG-Bench 上獲得了最佳的提示對齊分數，而 VAE + Flow Matching 產生了最低（最佳）的 FID 分數，表明其審美質量更高。

然而，FID 存在固有的局限性：它衡量的是與目標圖像分布的風格偏差，往往忽視了真實的生成質量與提示對齊程度。事實上，對 GPT-4o 在 MJHQ-30k 數據集上的 FID 評估得分約為 30.0，這進一步說明在圖像生成評估中 FID 可能具有誤導性。總體而言，我們的實驗表明 CLIP + Flow Matching 是最有效的設計方案。

討論

在統一的多模態框架下對多種圖像生成設計方案進行了全面評估。結果清楚地表明，CLIP 特征相比 VAE 特征能夠生成更加緊湊且語義豐富的表示，從而提高了訓練效率。自回歸模型能夠更有效地學習這些語義層級的特征，而不是像素級別的特征。此外，流匹配被證明是更有效的訓練目標，能夠更好地建模圖像分布，從而帶來更高的樣本多樣性和更佳的視覺質量。

統一多模態模型的訓練策略

在圖像生成研究的基礎上，下一步是開發一個統一的模型，既能執行圖像理解，也能進行圖像生成。我們在圖像生成模塊中采用 CLIP + Flow Matching。由于圖像理解也在 CLIP 的嵌入空間中進行，我們將兩個任務對齊到同一個語義空間中，實現統一。在此背景下，討論實現該整合的兩種訓練策略。

Finding1 當將圖像生成集成到統一模型中時，自回歸模型比像素級特征 (VAE) 更有效地學習語義級特征 (CLIP)。

Finding2 采用流量匹配作為訓練目標，可以更好地捕捉潛在的圖像分布，從而提高樣本多樣性和視覺質量。

聯合訓練與順序訓練

聯合訓練

聯合訓練圖像理解與圖像生成任務已經成為近期工作的常見實踐，例如 Metamorph、Janus-Pro 和 Show-o。盡管這些方法在圖像生成方面采用了不同的架構，它們都通過混合圖像生成和圖像理解的數據實現多任務學習。

順序訓練

不將圖像理解與生成一同訓練，而是采用兩階段的方法。在第一階段，僅訓練圖像理解模塊。在第二階段，凍結多模態大語言模型（MLLM）的主干，僅訓練圖像生成模塊，該策略類似于 LMFusion 和 MetaQuery。

討論

在聯合訓練設置中，盡管如 Metamorph所示，圖像理解與生成任務可能互相促進，但兩個關鍵因素影響其協同效果：（i）總數據量和（ii）圖像理解與生成數據之間的比例。

相比之下，順序訓練提供了更大的靈活性：它允許我們凍結自回歸主干網絡，同時保留圖像理解能力。我們可以將全部訓練能力專用于圖像生成，避免聯合訓練中的任務間干擾。也受到 LMFusion 和 MetaQuery 的啟發，我們選擇順序訓練來構建統一的多模態模型，并將聯合訓練留待后續工作中展開。

BLIP3-o：我們最先進的統一多模態模型

基于前述研究發現，采用 CLIP + Flow Matching 和順序訓練策略，構建了我們自己的最先進統一多模態模型 —— BLIP3-o。

模型架構

本文構建了兩個不同規模的模型：

• 一個8B 參數模型，使用了專有數據進行訓練；
• 一個4B 參數模型，僅使用開源數據進行訓練。

考慮到目前已有強大的開源圖像理解模型（如 Qwen 2.5 VL ），跳過圖像理解階段，將圖像生成模塊直接建立在 Qwen 2.5 VL 上。

• 在 8B 模型中，凍結 Qwen2.5-VL-7B-Instruct 的主干網絡，僅訓練擴散Transformer（Diffusion Transformers），總計約1.4B 可訓練參數。
• 4B 模型采用相同的圖像生成架構，但使用Qwen2.5-VL-3B-Instruct作為主干。

Diffusion Transformer 架構我們在 Diffusion Transformer（DiT）中借鑒了Lumina-Next 模型的架構，后者基于改進的 Next-DiT 架構，是一種可擴展、高效的擴散模型，面向文本生成圖像及通用多模態生成任務。

關鍵設計包括：

• 3D 旋轉位置嵌入（3D Rotary Position Embedding）：在時間、高度和寬度維度上編碼時空結構，無需依賴可學習位置向量；
• Sandwich 歸一化：在 Attention/MLP 前后分別使用 RMSNorm，提高穩定性；
• Grouped-Query Attention：降低計算開銷、增強模型表現。

實驗證明，該架構具備快速、高質量的生成能力。

訓練方案

階段 1：圖像生成預訓練

對于8B 模型，使用約2,500 萬條開源數據（CC12M、SA-1B、JourneyDB），加上3,000 萬張專有圖像；圖像標題由Qwen2.5-VL-7B-Instruct自動生成，平均長度達120 個 token；為增強對短提示的泛化能力，額外加入約10%（600 萬） 來自 CC12M 的短標題（約 20 token）；所有圖文對格式統一為：??"Please generate an image based on the following caption: <caption>"??；對于4B 模型，則僅使用前述 2,500 萬條開源數據，并附帶3 百萬短標題；公開發布了這2,500 萬詳細標題和 3 百萬短標題 數據集，以支持研究社區。

階段 2：圖像生成指令微調

在圖像生成預訓練后，觀察到模型在以下方面存在弱點：

• 復雜人體動作（如：“一個人正在拉弓搭箭”）；
• 常見物體（如：各種水果、蔬菜）；
• 地標建筑（如：金門大橋）；
• 簡單文字（如：“Salesforce” 出現在街道上的文字）；

雖然這些范疇已包含在預訓練中，但由于語料數量有限，學習效果不足。為此我們進行了針對性指令微調：使用 GPT-4o 為每類生成約10,000 對提示–圖像數據，構建覆蓋這些范疇的定向微調集；為提升圖像美學質量，還引入了 JourneyDB 和 DALL·E 3 的提示；最終匯總成一份約60,000 條高質量提示–圖像對，并公開發布該 BLIP3o-60k 微調集。

實驗結果

本文與多個現有統一多模態模型進行了比較，包括：EMU2 Chat、Chameleon、Seed-X、VILA-U、LMfusion、Show-o、EMU3、MetaMorph、TokenFlow、Janus、Janus-Pro。

圖像理解任務

在以下基準上進行評估： VQAv2、MMBench、SeedBench、MM-Vet、MME-Perception、MME-Cognition、MMMU、TextVQA 和 RealWorldQA。 如下表 1 所示，BLIP3-o 8B 在大多數任務中取得了最佳表現。

圖像生成任務

本文報告以下指標：

• GenEval 與 DPG-Bench：評估提示對齊；
• WISE：評估模型的世界知識推理能力。

如下表 2 所示，BLIP3-o 8B 達到了：

• GenEval 分數：0.84
• WISE 分數：0.62
• DPG-Bench 分數較低（但由于其為基于模型的自動評估，準確性不穩定）

為彌補 DPG-Bench 的不足，還對其所有提示進行了人工評估。此外，發現僅使用BLIP3o-60k 微調集，就能顯著提升模型的提示對齊能力和圖像美學質量，同時減少生成偽影。盡管一些難點（如復雜動作）仍無法完全解決，但整體圖像質量已獲得明顯改善。

Finding3 該模型能夠快速適應 GPT-4o 風格，提高快速對準和視覺質量。該模型從人工智能生成的圖像中學習比從真實圖像中學習更有效。

人類研究

對大約 1,000 條來自 DPG-Bench 的提示進行人類評估，比較 BLIP3-o 8B 與 Janus Pro 7B。在每條提示中，標注員基于兩個指標對圖像對進行并排比較：

• 視覺質量：說明為“所有圖像均由相同的文本輸入使用不同的方法生成。請根據視覺吸引力（如布局、清晰度、物體形狀和整體整潔性）選擇你最喜歡的圖像。”
• 提示對齊：說明為“所有圖像均由相同的文本輸入使用不同的方法生成。請選擇與圖文內容對齊度最佳的圖像。”

每個指標分別評估兩輪，每項標準大約產生 3,000 個判斷結果。如下圖 6 所示，BLIP3-o 在視覺質量和提示對齊方面均優于 Janus Pro，盡管 Janus Pro 在前表 2 中取得了更高的 DPG 分數。視覺質量和提示對齊的 p 值分別為 5.05e-06 和 1.16e-05，表明本文的模型以高度統計顯著性優于 Janus Pro。

未來工作

目前正在將本文的統一多模態模型擴展到下游任務，例如圖像編輯、多輪視覺對話以及圖文交錯生成。作為第一步，將專注于圖像重建：將圖像輸入圖像理解視覺編碼器，再通過圖像生成模型進行重建，以無縫連接圖像理解與生成。在此能力的基礎上，將收集指令微調數據集，以將模型適配于各種下游應用。

總結

本文首次系統性地探索了混合自回歸與擴散架構在統一多模態建模中的應用，評估了三個關鍵方面：圖像表示（CLIP 與 VAE 特征）、訓練目標（Flow Matching 與 MSE）以及訓練策略（聯合訓練與順序訓練）。我們的實驗表明，CLIP 嵌入結合 Flow Matching 損失在訓練效率和輸出質量方面均表現更優。基于這些見解，本文推出了 BLIP3-o 系列最先進的統一模型，并輔以 60k 條指令微調數據集 BLIP3o-60k，在提示對齊和圖像美學方面顯著提升。我們正積極推進該統一模型在迭代圖像編輯、視覺對話和逐步視覺推理等應用中的發展。

本文轉自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/SvYUwTEWENwYEfVQ-HRotw??