該文章的第一作者帥欣成，目前在復旦大學FVL實驗室攻讀博士學位，本科畢業于上海交通大學。他的主要研究方向包括圖像和視頻編輯以及多模態學習。

前言

本文提出了解決一般性編輯任務的統一框架！近期，復旦大學 FVL 實驗室和南洋理工大學的研究人員對于多模態引導的基于文生圖大模型的圖像編輯算法進行了總結和回顧。綜述涵蓋 300 多篇相關研究，調研的最新模型截止至今年 6 月！該綜述拓展了關于控制條件（自然語言，圖像，用戶接口）和編輯任務的討論 （物體 / 屬性操作、空間變換、inpainting、風格轉換、圖像翻譯，主體 / 屬性客制化），以從更新穎和更一般性的角度全面的探討編輯方法。此外，該綜述提出的統一框架將編輯過程表示為不同算法族的組合，并通過全面的定性和定量實驗來說明各種組合的特性以及適應場景。該框架提供了友好的設計空間以滿足用戶不同的需求，并為研究者們提供了一定的參考以開發新的算法。

摘要

圖像編輯旨在根據用戶的特定需求編輯給定的合成圖像或真實圖像。作為人工智能生成內容（AIGC）領域中一個有前景且具有挑戰性的領域，圖像編輯得到了廣泛研究。近期，大規模文生圖（T2I）擴散模型驅動了圖像編輯技術的發展。這些模型根據文本提示生成圖像，展示了驚人的生成能力，已成為圖像編輯的常用工具。基于 T2I 的圖像編輯方法顯著提升了編輯性能，為用戶提供了使用多模態條件引導進行內容修改的接口。我們對基于 T2I 擴散模型的多模態引導下的圖像編輯技術進行了全面回顧。首先，我們從更一般性的角度定義了圖像編輯任務的范圍，并詳細描述了各種控制信號和編輯場景。然后，我們提出了一個統一框架來形式化編輯過程，將其表示為兩個算法族的組合。這個框架為用戶提供了一個設計空間，以實現特定目標。接著，我們對該框架內的每個組件進行了深入分析，研究了不同組合的特性和適用場景。由于基于訓練的方法直接學習將源圖像映射到目標圖像，我們對這些方法進行了單獨討論，并介紹了不同場景下源圖像的注入方案。此外，我們也回顧了 2D 技術在視頻編輯中的應用，重點介紹了解決幀間不一致性的問題。最后，我們也討論了該領域的開放性挑戰，并提出了潛在的未來研究方向。

• 論文題目：A Survey of Multimodal-Guided Image Editing with Text-to-Image Diffusion Models
• 發表單位：復旦大學 FVL 實驗室，南洋理工大學
• 論文地址：https://arxiv.org/abs/2406.14555
• 項目地址：https://github.com/xinchengshuai/Awesome-Image-Editing

1．研究動機

1.1，在現實生活中，人們對于可控的、高質量的智能化圖像編輯工具的需求日益增加，因此有必要系統地總結與對比這個方向的方法與技術特點。

1.2，當前的編輯算法與相關的綜述都將編輯場景局限于保留圖像中的大部分與編輯無關的低級語義信息，為此需要擴展編輯任務的范圍，從更具有一般性的視角討論編輯任務。

1.3，由于需求和場景具有多樣性，有必要將編輯過程形式化為一個統一框架，并為用戶提供一個設計空間來適應不同的編輯目標。

2．綜述亮點，與當前編輯綜述有何區別？

2.1 關于編輯任務的定義與討論范圍。相比于現有的算法以及此前的編輯綜述，本文對于圖像編輯任務的定義更加廣泛。具體的，本文將編輯任務分為 content-aware 和 content-free 場景組。其中 content-aware 組內的場景為之前的文獻所討論的主要任務，它們的共性是保留圖像中的一些低級語義特征，如編輯無關區域的像素內容，或圖像結構。此外，我們開創性地將定制化任務（customization）納入到 content-free 場景組中，將這一類保留高級語義（如主體身份信息，或者其他細粒度屬性）的任務作為對常規的編輯場景的補充。

圖 1. Survey 討論的各種編輯場景

2.2 一般性編輯算法的統一框架。由于編輯場景的多樣性，現有的算法無法很好的解決所有的需求。因此我們將現有的編輯過程形式化為一個統一的框架，將其表示為兩個算法族的組合。此外我們也通過定性和定量實驗分析了不同組合的特性與適應場景，為用戶提供了一個良好的設計空間以適應不同的編輯目標。同時，該框架也為研究者們提供了一個較好的參考，以設計出性能更優的算法。

2.3 討論的全面性。我們調研了 300 多篇的相關論文，系統且全面地闡述了各種模態的控制信號在不同場景下的應用。對于基于訓練的編輯方法，本文也提供了在各種場景下將源圖像注入到 T2I 模型的策略。此外，我們也探討了圖像編輯技術在視頻領域的應用，使得讀者能夠快速的理解不同領域間編輯算法的聯系。

3．一般性編輯算法的統一框架

圖 2. 一般性編輯算法的統一框架

框架包含了兩個算法族 Inversion 算法和 Editing 算法。

3.1 Inversion 算法。Inversion 算法將源圖像集合編碼到特定的特征或參數空間，得到對應的表征（inversion clue），并用對應的源文本描述作為源圖像的標識符。包括 tuning-based和 forward-based兩種類型的 inversion 算法。其可以被形式化為：

Tuning-based inversion通過原有的 diffusion 訓練過程將源圖像集合植入到擴散模型的生成分布中。形式化過程為：

其中為引入的可學習的參數，且。

Forward-based inversion用于在擴散模型的反向過程中（）還原某一條前向路徑中的噪聲（）。形式化過程為：

其中為方法中引入的參數，用于最小化，其中，。

3.2.Editing 算法。Editing 算法根據和多模態引導集合來生成最終的編輯結果。包含 attention-based，blending-based，score-based以及 optimization-based的 editing 算法。其可以被形式化為：

特別地，對于每一步的反向過程，進行了如下操作：

其中中的操作表示編輯算法對于擴散模型采樣過程的干預，用于保證編輯后的圖像與源圖像集合的一致性，并反應出中引導條件所指明的視覺變換。

特別地，我們將無干預的編輯過程視作為普通版本的編輯算法。其形式化為:

Attention-based editing的形式化過程:

Blending-based editing的形式化過程:

Score-based editing的形式化過程:

Optimization-based editing的形式化過程:

3.3 Training-Based 的編輯方法。與 training-free 的方法不同的是，training-based 算法通過在任務特定的數據集中直接學習源圖像集合到編輯圖像的映射。這一類算法可以看作是 tuning-based inversion 的擴展，即通過額外引入的參數將源圖像編碼到生成分布中。在這類算法中，最重要的是如何將源圖像注入到 T2I 模型中，以下是針對不同編輯場景的注入方案。

Content-aware 任務的注入方案：

圖 3. Content-aware 任務的注入方案

Content-free 任務的注入方案：

圖 3. Content-free 任務的注入方案

4．統一框架在多模態編輯任務中的應用

本文通過定性實驗說明了各個組合在多模態編輯任務中的應用：

圖 4. 關于 attention-based editing的算法組合的應用

圖 5. 關于 blending-based editing的算法組合的應用

圖 6. 關于 score-based editing的算法組合的應用

圖 7. 關于 optimization-based editing的算法組合的應用

詳細分析請查閱原始論文。

5．不同組合在文本引導編輯場景下的比較

對于常見的文本引導的編輯任務，本文通過設計了多個具有挑戰性的定性實驗，以說明不同組合所適合的編輯場景。此外，本文也相應地收集了高質量和具有一定難度的數據集，以定量地說明各種組合中的先進算法在不同場景下的性能。

對于 content-aware 任務，我們主要考慮對象操作（增 / 刪 / 替換），屬性改變，風格遷移。特別地，我們考慮了具有挑戰性的實驗設置：1. 多目標編輯。2. 對于圖像的語義布局影響較大的用例。我們也收集了這些復雜場景的高質量圖片，并對不同組合中的先進算法進行全面定量比較。

 圖 8.Content-aware 任務中各個組合的定性比較，從左至右分別是

結果分析以及更多實驗結果請查閱原始論文。

對于 content-free 任務，我們主要考慮基于主體驅動的（subject-driven）定制化任務。并考慮了多種場景，如更換背景，與物體交互，行為改變，以及風格改變。我們也定義了大量的文本引導模板，并對各個方法的整體性能進行定量分析。

圖 9.Content-free 任務中各個組合的定性比較，從左至右分別是

結果分析以及更多實驗結果請查閱原始論文。

6．未來可以研究的方向

此外本文也給出了一些關于未來研究方向的分析。這里以 content-aware 任務和 content-free 任務面臨的挑戰為例。

6.1. Content-aware 任務的挑戰。對于 content-aware 編輯任務的挑戰，現有方法無法同時處理多種編輯場景和控制信號。這一限制迫使應用在不同任務之間切換合適的后端算法。此外，一些高級方法在易用性方面不友好。某些方法需要用戶調整關鍵參數以獲得最佳結果，而其他方法則需要繁瑣的輸入，例如源和目標提示，或輔助掩碼。

6.2.Content-free 任務的挑戰。對于 content-free 編輯任務，現有方法在測試時調優過程冗長且存在過擬合問題 。一些研究旨在通過優化少量參數或從頭開始訓練模型來緩解這一問題。然而，它們常常會丟失個性化主體的細節，或表現出較差的泛化能力。此外，當前方法在從少量圖像中提取抽象概念方面也有所不足，它們無法完全將所需概念與其他視覺元素分離開來。

了解更多研究方向內容可以查閱原始論文。