字節開源圖像編輯新方法，比當前SOTA方法提高9.19%的性能，只用了1/30的訓練數據和1/13參數規模的模型。

做到這一切無需額外預訓練任務和架構修改，只需要讓強大的多模態模型（如GPT-4o）來糾正編輯指令。

這一方法旨在解決現有圖像編輯模型中監督信號有噪聲的問題，通過構建更有效的編輯指令提升編輯效果。

數據和模型在Github上開源。

為什么AI編輯圖像模型常常“理解錯誤”

當人們讓AI”給照片中的男孩加一條粉色領帶”時，AI可能會把皮膚顏色、衣服顏色也改變，或者完全重繪整張圖片。

為什么會這樣？

團隊發現了一個被忽視的關鍵問題：現有的圖像編輯數據集存在大量的噪聲監督信號。

當前基于指令的圖像編輯方法流行起來，但訓練這類模型需要大量原始-編輯后圖像對和指令，手動收集困難。

現有數據集通常使用各種自動化方法構建，導致指令與圖像對之間的不匹配，產生有噪聲的監督信號。

簡單來說就是：AI在學習時，看到的指令和實際編輯效果對不上號，導致”學廢了”。

如此一來，SuperEdit的方法就不是靠擴大參數規模或增加預訓練算力，而是專注于提高監督信號質量。

用GPT-4o糾正編輯指令

團隊首先發現，擴散模型在生成圖像的不同階段有著不同側重點。

• 早期階段：關注全局布局變化
• 中期階段：關注局部物體屬性變化
• 晚期階段：關注圖像細節變化

受此啟發，團隊利用GPT-4o這樣的強大視覺語言模型，通過觀察原始圖像和編輯后圖像之間的差異，生成更準確的編輯指令。

將原始圖像和編輯后的圖像輸入到GPT-4o中，并要求它返回以下四個屬性的差異：整體圖像布局、局部對象屬性、圖像細節、樣式變化。

由于CLIP文本編碼器最多接受77個文本token輸入，還需要讓GPT-4o總結完善這些指令。

僅僅有正確的指令還不夠，團隊還構建了一套對比監督機制：

• 根據正確的編輯指令，生成一系列錯誤指令（如改變物體數量、位置或顏色）
• 使用三元組損失函數（triplet loss）讓模型學會區分正確和錯誤的編輯指令

由于在正確指令和錯誤指令之間只替換了幾個單詞，因此CLIP文本編碼器生成的文本嵌入作為擴散模型的輸入也會很相似。

通過這一點確保學習任務的難度，幫助模型了解兩個編輯指令之間的細微差異如何導致截然不同的編輯結果。

編輯模型訓練基于InstructPix2Pix框架，利用對比監督信號時，在訓練階段引入錯誤編輯指令生成正負樣本，提升模型理解和執行指令的能力。

SuperEdit在多個基準測試上的表現出色，在Real-Edit基準測試中，它以69.7%的整體準確率和3.91的評分，超越前SOTA方法SmartEdit的58.3%準確率和3.59評分。

在人工評估中，SuperEdit在指令遵循度、原始內容保留和圖像質量三個關鍵指標上全面超越了現有方法。

不過該方法也存在一些局限，經過訓練的模型在理解和執行復雜指令上仍然存在困難，尤其是在密集排列的對象和復雜的空間關系方面。

以及為確保校正指令的準確性和有效性大量調用GPT-4o，可能產生額外的成本。

團隊計劃將這種數據優先的方法擴展到更多視覺生成任務中，并探索與更大模型相結合的可能性。

論文：
https://arxiv.org/abs/2505.02370xia