首個(gè)多模態(tài)Masked擴(kuò)散模型誕生！Adobe研究院Lavida-O：生成、編輯和定位登頂SOTA! 精華
文章鏈接：https://arxiv.org/pdf/2509.19244
亮點(diǎn)直擊
- 第一個(gè)多模態(tài) MDM，在文本生成圖像、圖像編輯和定位任務(wù)中實(shí)現(xiàn)了SOTA性能，超越了現(xiàn)有的 MDMs、自回歸模型和連續(xù)擴(kuò)散模型。
- 為大規(guī)模掩碼圖像生成模型和統(tǒng)一多模態(tài)模型提出了若干高效且有效的訓(xùn)練和推理技術(shù)，如Elastic-MoT 架構(gòu)、通用文本條件和分層采樣，顯著推動(dòng)了相關(guān)領(lǐng)域的發(fā)展。
- 引入了一種新范式，明確利用統(tǒng)一模型的理解能力，通過(guò)規(guī)劃和自我反思來(lái)改進(jìn)其生成能力。
總結(jié)速覽
效果一覽
文本到圖像生成的定性示例。 在各種提示中提供了其他文本到圖像生成輸出的示例
解決的問(wèn)題
- 現(xiàn)有多模態(tài)擴(kuò)散語(yǔ)言模型（如 MMaDa 和 Muddit）僅支持簡(jiǎn)單的圖像級(jí)理解任務(wù)和低分辨率圖像生成，無(wú)法有效處理復(fù)雜的對(duì)象定位、圖像編輯和高分辨率圖像合成任務(wù)。
提出的方案
- 開發(fā) Lavida-O，這是一種統(tǒng)一的多模態(tài)掩碼擴(kuò)散模型，能夠執(zhí)行圖像理解和生成任務(wù)。它利用模型的理解能力，通過(guò)規(guī)劃和迭代自我反思來(lái)改進(jìn)圖像生成和編輯結(jié)果。
應(yīng)用的技術(shù)
- 引入彈性Transformer混合架構(gòu)（Elastic Mixture-of-Transformer）、通用文本條件（universal text conditioning）和分層采樣（stratified sampling）等新技術(shù)，以實(shí)現(xiàn)高效的訓(xùn)練和采樣。
達(dá)到的效果
- Lavida-O 在多個(gè)基準(zhǔn)測(cè)試中實(shí)現(xiàn)了最先進(jìn)的性能，如 RefCOCO 對(duì)象定位、GenEval 文本生成圖像和 ImgEdit 圖像編輯，超越了現(xiàn)有的自回歸和連續(xù)擴(kuò)散模型（如 Qwen2.5-VL 和 FluxKontext-dev），并在推理速度上顯著提升。
方法
模型架構(gòu)
彈性Transformer混合架構(gòu)（ElasticMoT）
本文目標(biāo)是找到一種有效且高效的方法，使僅具備理解能力的擴(kuò)散模型 LaViDa 具備視覺(jué)生成能力。然而，正如在前文中描述的兩種現(xiàn)有常用選擇——密集模型和 MoT——都非常昂貴。密集模型在理解和生成任務(wù)中使用相同的參數(shù)集，需要在訓(xùn)練期間混合使用理解和生成數(shù)據(jù)以防止災(zāi)難性遺忘，這并不高效。而 MoT 設(shè)置允許凍結(jié)理解分支，僅訓(xùn)練用于圖像生成的生成分支，但其架構(gòu)使總參數(shù)數(shù)量翻倍，導(dǎo)致相當(dāng)大的計(jì)算開銷。此外，給定一個(gè) 80 億參數(shù)的基礎(chǔ)理解模型，這兩種設(shè)置都需要從頭開始訓(xùn)練至少 80 億參數(shù)用于生成任務(wù)，這在成本上是不可接受的。
類似地，對(duì)于理解任務(wù)，活躍參數(shù)數(shù)量為 80 億，對(duì)于需要同時(shí)理解和生成的任務(wù)（例如交錯(cuò)生成），活躍參數(shù)數(shù)量為 104 億。Elastic-MoT 的完整設(shè)計(jì)如下圖 3 所示。
模態(tài)感知掩碼
在為 MDMs 適應(yīng) MoT 架構(gòu)時(shí)，其中一個(gè)挑戰(zhàn)是路由——確定每個(gè) token 應(yīng)激活哪個(gè)分支的機(jī)制。這對(duì)于統(tǒng)一的自回歸 MoT 模型來(lái)說(shuō)是簡(jiǎn)單的，模型可以學(xué)習(xí)生成一個(gè)特殊 token （例如，[img start]）來(lái)指示下一個(gè) token 應(yīng)使用生成分支。當(dāng)圖像的最后一個(gè) token 生成后，模型會(huì)自動(dòng)切換回理解分支繼續(xù)文本生成。然而，這種方法對(duì)于 MDMs 來(lái)說(shuō)不可行，因?yàn)?MDMs 并行解碼 token，必須預(yù)先決定哪些掩碼 token 應(yīng)路由到理解分支，哪些應(yīng)路由到生成分支。一個(gè)簡(jiǎn)單的解決方案是讓用戶指定文本和圖像 token 的數(shù)量和位置，但這對(duì)于交錯(cuò)生成（如帶有自我反射的圖像生成）來(lái)說(shuō)很困難。為了解決這個(gè)問(wèn)題，本文設(shè)計(jì)了一種模態(tài)感知掩碼過(guò)程。
任務(wù)特定設(shè)計(jì)
在本節(jié)中，本文描述了一些額外的技術(shù)創(chuàng)新，以提高新納入任務(wù)（如圖像生成、圖像編輯和基礎(chǔ)）的有效性和效率。
通用文本條件。 提高文本生成圖像模型質(zhì)量的常見(jiàn)方法是微條件，它將圖像生成過(guò)程基于額外的參數(shù)，如原始圖像分辨率、裁剪坐標(biāo)和圖像質(zhì)量分?jǐn)?shù)。這通常通過(guò)專門的嵌入或調(diào)制層實(shí)現(xiàn)。然而，由于統(tǒng)一模型具有強(qiáng)大的語(yǔ)言理解和推理能力，本文可以簡(jiǎn)單地將這些條件作為普通文本（例如，“SCORE: 5.40”）附加到用戶提示的末尾。除了常見(jiàn)條件之外，本文還將圖像亮度和對(duì)比度作為微條件納入。這種簡(jiǎn)單而有效的設(shè)計(jì)不僅通過(guò)引導(dǎo)生成朝向高評(píng)分分布來(lái)提高圖像質(zhì)量，還為用戶提供了對(duì)輸出的更精細(xì)控制。
分層隨機(jī)采樣。 現(xiàn)有的 MDMs 大多在推理時(shí)采用基于置信度的采樣，其中高置信度分?jǐn)?shù)的 token 優(yōu)先被去掩碼。然而，這種設(shè)計(jì)對(duì)于圖像生成來(lái)說(shuō)并不理想，因?yàn)槊恳徊叫枰獯a許多 token 。特別是，高置信度 token 往往聚集在已去掩碼 token 相鄰的小空間區(qū)域。這對(duì)圖像質(zhì)量產(chǎn)生負(fù)面影響，因?yàn)橄噜?token 高度相關(guān)，而 MDMs 獨(dú)立采樣所有去掩碼 token，并假設(shè)它們的聯(lián)合分布完全分解。為了解決這個(gè)問(wèn)題，本文旨在通過(guò)最大化它們的空間距離來(lái)最小化每一步去掩碼 token 之間的相關(guān)性。本文通過(guò)分層隨機(jī)采樣過(guò)程實(shí)現(xiàn)這一目標(biāo)，確保去掩碼 token 在圖像中均勻分布。具體而言，本文首先將圖像劃分為2x2的正方形區(qū)域，并在每個(gè)區(qū)域內(nèi)隨機(jī)去掩碼一個(gè) token 。然后本文將每個(gè)區(qū)域再細(xì)分為 4 個(gè)子區(qū)域，總共 16 個(gè)。四個(gè)已經(jīng)包含一個(gè)去掩碼 token ；本文從剩余的 12 個(gè)中隨機(jī)去掩碼一個(gè) token 。本文重復(fù)此過(guò)程，直到所有 token 都被去掩碼。此過(guò)程如上圖 4b 所示。
規(guī)劃和推理。 雖然現(xiàn)有的統(tǒng)一 MDMs 將圖像理解和生成任務(wù)與單一擴(kuò)散目標(biāo)整合在一起，但它們并未包含利用理解來(lái)改善生成的機(jī)制，除了假設(shè)聯(lián)合訓(xùn)練對(duì)兩項(xiàng)任務(wù)都有益。為了解決這個(gè)問(wèn)題，本文引入了兩個(gè)利用理解來(lái)改善生成的明確機(jī)制：規(guī)劃和反思。通過(guò)規(guī)劃，模型首先生成由邊界框表示的圖像布局，然后相應(yīng)地創(chuàng)建實(shí)際圖像。對(duì)于圖像編輯任務(wù)，它首先識(shí)別所需的編輯區(qū)域，然后生成編輯后的圖像。通過(guò)反思，模型利用其理解能力評(píng)估自己的生成，判斷其是否滿足用戶的請(qǐng)求。如果檢測(cè)到不一致，模型會(huì)生成一個(gè)新圖像以糾正錯(cuò)誤。示例如下圖 1 所示。
實(shí)驗(yàn)
設(shè)置
從 LaViDa 開始，這是一個(gè)僅用于理解的 80 億參數(shù)的擴(kuò)散模型，并使用前文中描述的 ElasticMoT 架構(gòu)擴(kuò)展出一個(gè) 24 億參數(shù)的圖像生成分支。訓(xùn)練包括三個(gè)階段：
- 階段 1：本文繼續(xù)在對(duì)象定位和圖像級(jí)理解任務(wù)上使用 1200 萬(wàn)樣本訓(xùn)練基礎(chǔ)模型。在此階段，生成分支未激活。
- 階段 2：本文使用 2 億個(gè)圖文對(duì)對(duì) 24 億參數(shù)的圖像生成分支進(jìn)行文本生成圖像任務(wù)的預(yù)訓(xùn)練。在此階段，本文使用第 3.1.1 節(jié)中描述的 ElasticMoT 設(shè)計(jì)加載 24 億 + 40 億參數(shù)。本文凍結(jié)理解分支，僅訓(xùn)練生成分支，從而避免需要包括理解數(shù)據(jù)以防止遺忘。為了進(jìn)一步提高訓(xùn)練效率，本文從 256 分辨率開始，并在訓(xùn)練過(guò)程中逐步增加到 512 和 1024。
- 階段 3：在最后階段，本文對(duì)整個(gè) 24 億 + 80 億模型進(jìn)行端到端聯(lián)合訓(xùn)練，涵蓋圖像級(jí)理解、文本生成圖像、圖像編輯和交錯(cuò)生成任務(wù)，如規(guī)劃和自我反思。除了前幾個(gè)階段使用的數(shù)據(jù)外，本文還加入了 150 萬(wàn)圖像編輯樣本和 300 萬(wàn)交錯(cuò)生成樣本。
圖像理解
在下表 2 中報(bào)告了圖像理解任務(wù)的性能。Lavida-O 在 MMMU、MME和 MMB上相較于之前的最先進(jìn)統(tǒng)一擴(kuò)散模型 MMaDa 取得了顯著的優(yōu)勢(shì)。與基礎(chǔ)模型 LaViDa 相比，Lavida-O 在大多數(shù)基準(zhǔn)測(cè)試上實(shí)現(xiàn)了顯著的改進(jìn)，如 ChartQA 、DocVQA、ScienceQA和 MathVista，這得益于訓(xùn)練數(shù)據(jù)的擴(kuò)展。
文本生成圖像
本文在 GenEval 和 DPG 基準(zhǔn)測(cè)試上報(bào)告了文本生成圖像的結(jié)果，并在 MJHQ 數(shù)據(jù)集的 30k 個(gè)提示上報(bào)告了 FID 分?jǐn)?shù)。本文與包括 Flux-dev 、SD3-Medium 、Meissonic 和 DALLE-3 在內(nèi)的文本生成圖像模型進(jìn)行比較，以及包括 BAGEL 、Show-o 、MMaDa 和 Muddit 在內(nèi)的統(tǒng)一模型。Lavida-O 顯著超越了最先進(jìn)的掩碼圖像生成模型 Meissonic，以及統(tǒng)一模型如 MMaDa 和 Muddit。規(guī)劃和反思進(jìn)一步增強(qiáng)了對(duì)提示的跟隨性能。由于 MJHQ 的規(guī)模較大且 FID 不反映提示跟隨能力，本文未在 MJHQ 上啟用規(guī)劃和反思。
目標(biāo)定位
本文在RefCOCO 指代表達(dá)理解 (REC) 任務(wù)中評(píng)估了 Lavida-O 的目標(biāo)定位能力，報(bào)告了 Precision@0.5 指標(biāo)。Lavida-O 超越了自回歸視覺(jué)-語(yǔ)言模型，如 Qwen2.5-VL-7B 和 InternVL3-8B，以及專用模型如 Grounding-DINO-L和 SegLLM-7B。
圖像編輯
下表 5 中報(bào)告了圖像編輯基準(zhǔn)測(cè)試的性能。Lavida-O 超越了最先進(jìn)的統(tǒng)一模型如 BAGEL 和專用模型如 FluxKontext-dev。最值得注意的是，Lavida-O 甚至在替換和移除對(duì)象方面超越了最先進(jìn)的閉源模型 GPT4-o，這需要對(duì)圖像進(jìn)行局部化理解。這凸顯了 Lavida-O 在整合目標(biāo)定位能力方面的設(shè)計(jì)有效性。
訓(xùn)練和推理速度
在下圖 5 中，本文對(duì) Lavida-O 在三個(gè)任務(wù)上的推理效率進(jìn)行了基準(zhǔn)測(cè)試：文本生成圖像、目標(biāo)定位和數(shù)學(xué)推理。本文測(cè)量了每幅圖像的端到端延遲（以秒為單位）。Lavida-O 顯著快于自回歸模型。值得注意的是，在目標(biāo)定位任務(wù)上，本文比 Qwen2.5-VL-7B快了 6.8 倍。本文還報(bào)告了通過(guò)每步延遲測(cè)量的訓(xùn)練效率，并將本文的 Elastic-MoT 設(shè)計(jì)與 BAGEL 風(fēng)格的標(biāo)準(zhǔn) MoT 設(shè)計(jì)進(jìn)行比較，Elastic-MoT 提高了 3.17 倍的訓(xùn)練速度。
結(jié)論
Lavida-O，這是第一個(gè)多模態(tài)掩碼擴(kuò)散模型，在文本生成圖像、圖像編輯和定位任務(wù)上實(shí)現(xiàn)了SOTA性能，與最佳的專用模型和自回歸統(tǒng)一模型具有競(jìng)爭(zhēng)力。本文還引入了一種新穎的交錯(cuò)生成范式，通過(guò)規(guī)劃和自我反思，明確利用理解能力來(lái)改善統(tǒng)一多模態(tài)模型中的生成結(jié)果。
在開發(fā) Lavida-O 的過(guò)程中，本文提出了幾種高效的訓(xùn)練和推理技術(shù)，包括 ElasticMoT 架構(gòu)、通用文本條件和分層隨機(jī)采樣，為未來(lái)的掩碼擴(kuò)散模型和統(tǒng)一多模態(tài)系統(tǒng)提供了寶貴的見(jiàn)解。
本文轉(zhuǎn)自AI生成未來(lái) ，作者：AI生成未來(lái)
