極低成本，復現(xiàn)GPT-4o圖像風格化一致性！NUS推出OmniConsistency
本文由 NUS ShowLab 主導完成。第一作者宋亦仁為新加坡國立大學 ShowLab@NUS 在讀博士生，研究方向是視覺生成和多模態(tài)，在 CVPR、SIGGRAPH、NeurIPS 等國際頂級會議上發(fā)表多篇研究成果。共同一作劉成為 NUS 重慶研究院四年級本科生，研究方向是視覺生成。項目負責作者為該校校長青年教授壽政。
不久前，GPT-4o 的最新圖像風格化與編輯能力橫空出世，用吉卜力等風格生成的效果令人驚艷，也讓我們清晰看到了開源社區(qū)與商業(yè) API 在圖像風格化一致性上的巨大差距。
目前，開源擴散模型在 image-to-image 風格遷移中普遍面臨一個蹺蹺板困境：要想增強風格化效果，往往會犧牲細節(jié)、結構和語義一致性；而要保持一致性，風格表達則明顯退化。
為了解決這一難題，我們提出 OmniConsistency，利用配對數(shù)據(jù)復現(xiàn) GPT-4o 的出色風格化一致性，為開源生態(tài)注入接近商業(yè)級的能力。
- 論文標題：OmniConsistency: Learning Style-Agnostic Consistency from Paired Stylization Data
- 項目主頁：https://github.com/showlab/OmniConsistency
- 論文鏈接：https://arxiv.org/abs/2505.18445
- Demo 試用鏈接：https://huggingface.co/spaces/yiren98/OmniConsistency
我們的解決方案：OmniConsistency
我們提出 OmniConsistency， 一個基于 DiT 的通用一致性增強插件，它可以在保持強烈風格化效果的同時，精準保留輸入圖像的細節(jié)、語義和結構。
OmniConsistency 的訓練僅用了 2600 對 GPT-4o 生成的高質量圖像，全流程只用約 500 小時 GPU 算力，成本極低。
OmniConsistency 有哪些亮點？來看三句話總結：
? 解決風格化與一致性之間的蹺蹺板問題
? 即插即用，兼容社區(qū)任意 Flux 底模的風格 LoRA
? 輕量高效，效果出色，媲美 GPT-4o
為什么現(xiàn)有方法會出現(xiàn)風格退化？
目前各大廠商的 AI 圖生圖業(yè)務的主流做法是組合風格化 LoRA + 一致性插件 + image2image pipeline。在特定風格數(shù)據(jù)上微調得到的風格 LoRA 模塊，能夠在文本到圖像（text-to-image, T2I）任務中實現(xiàn)高質量風格圖像生成。一致性模塊（如 ControlNet、IP-Adapter、Redux 等）負責在圖像到圖像（image-to-image, I2I）任務中維持結構、邊緣或姿態(tài)等條件，允許使用更大的去噪強度來獲得更強的風格化效果。
問題是，當把這兩類模塊組合在一起用時，風格模塊要的 “自由發(fā)揮” 和一致性模塊要的 “嚴謹控制” 彼此掣肘。尤其在 I2I 任務中，風格表達往往會被削弱，出現(xiàn)明顯的風格退化。換句話說，現(xiàn)有方法被困在風格化強度和一致性之間的蹺蹺板上，無法兩全。
方法介紹：OmniConsistency 的核心設計
OmniConsistency 的核心目標是打破圖像風格化任務中 “風格表達” 與 “一致性保持” 之間的蹺蹺板困境。為了解決這一問題，我們提出了一種全新的、風格 - 一致性解耦學習方法，其包括以下三項關鍵設計：
1. In-Context 一致性學習框架：從數(shù)據(jù)對學習
OmniConsistency 創(chuàng)新性地提出了一種基于風格化圖像對的一致性學習機制：不是像現(xiàn)有方法那樣先在風格結果上訓練 LoRA，再用一致性插件去適配（這往往帶來沖突）；而是直接利用原圖與其高一致性風格化結果的成對關系，專門學習圖像在風格遷移中的一致性保持規(guī)律。
具體做法是：將原圖經(jīng)過 VAE 編碼得到的 clean latent token 拼接到 denoise token 上，通過因果注意力機制引導模型學習配對圖像風格化前后的一致性。
2. 兩階段風格 - 一致性解耦訓練策略：穩(wěn)健泛化的關鍵
為了從訓練策略上徹底分離風格表達與一致性保持，我們采用了階段化解耦訓練機制：
- 第一階段：風格學習。我們基于 22 種不同的藝術風格，用風格化結果圖為每種風格獨立訓練一個 LoRA 模塊，最終構建出一個穩(wěn)定的 風格 LoRA 模塊庫。
- 第二階段：一致性學習。在該階段，我們凍結所有風格 LoRA，用風格化前后的配對數(shù)據(jù)訓練一個輕量級的一致性模塊（Consistency LoRA）。我們設計了 LoRA Bank 滾動加載機制，即訓練時動態(tài)輪換風格 LoRA 與其對應的訓練子集。這樣能確保一致性模塊專注于跨風格保持結構和語義，而不學習任何具體風格內容。
這種訓練解耦策略在保持風格表達能力的同時，極大提升了模型對多風格場景下的一致性泛化能力。
3. 模塊化架構設計：即插即用，兼容性強
OmniConsistency 被設計為一套完全模塊化的插拔系統(tǒng)，兼容性極強：
- Plug-and-Play LoRA：一致性模塊專門作用于條件分支，與風格 LoRA 使用獨立 “插槽”，二者在架構上無參數(shù)沖突。因此，任何 HuggingFace 社區(qū)風格 LoRA 模型均可直接與 OmniConsistency 聯(lián)動，無需修改或重訓練。
- 因果注意力：不同于 Flux 和之前的可控性生成工作， 我們將雙向注意力機制改成 Causal Attention. 我們定義了一個注意力 mask， 限制 Condition token 的 Query 和 Noised&Text Token 的 Key 計算注意力。 這樣的好處是 Flux 的 Noised&Text 分支上沒有新增可訓練的 LoRA 參數(shù)， 完全為風格化 LoRA 騰出掛載位點。
- 兼容 EasyControl/ IP-Adapter 等控制信號：由于一致性模塊采用因果注意力 + 條件注入策略，其他控制方法也可無縫集成，互不干擾。
數(shù)據(jù)集構建
我們采用 GPT-4o 自動生成了一套高質量配對數(shù)據(jù)：設計 22 種不同風格的提示詞，上傳原始圖像，生成對應的風格化版本，還配上詳細文本描述。
然后，我們通過人工篩選，剔除了風格不一致、細節(jié)錯誤、姿態(tài)錯位等問題圖，最終精選出 2600 對高質量圖像對，涵蓋了動漫、素描、像素畫、水彩、賽博朋克等風格。
效果如何？
直接上圖， OmniConsistency 能很好的維持風格化前后構圖、語義、細節(jié)一致，對人物面部特征的維持也有一定作用。對多人合影等復雜場景，很好的維持了人數(shù)、姿勢、性別、種族、年齡，甚至還能維持圖片中的英文文字正確性。
OmniConsistency 對訓練階段沒見過的風格 LoRA 也有很好的泛化作用。
定量評估
論文構建了一個全新數(shù)據(jù)集，包括：22 種風格、2600 對高質量圖像對， 由 GPT-4o 構建并進行人工篩選。用 100 張復雜場景測試圖（多人合影、建筑、動物等）作為 benchmark。使用 LibLib 網(wǎng)站上 5 個訓練階段未見過的全新風格 LoRA ，進行定量計算。
采用用多項指標全面評估，包括風格一致性評估（FID、CMMD、DreamSim、CLIP Image Score、GPT-4o Score）；內容一致性評估（DreamSim、CLIP Image Score、GPT-4o 評分）；圖文對齊（CLIP Score）。
總結
風格一致性：FID 和 CMMD 指標顯著優(yōu)于基線，風格化程度接近 LoRA 文生圖 效果。
內容一致性：復雜場景下的細節(jié)、語義、結構保持能力大幅提升。
泛化能力：在未見過的 LoRA 風格上泛化效果出色，顯示出強大的風格無關性。
輕量高效：得益于特征復用和位置編碼差值技術，推理顯存與時間開銷相比 Flux text2image pipeline 僅增加約 5%，適合部署到生產(chǎn)環(huán)境。
即插即用、廣泛兼容：模塊化設計支持與社區(qū) LoRA、EasyControl、IPAdapter 等主流插件無縫集成，無需重訓即可使用。
