隨著 Sora 的爆火，人們看到了 AI 視頻生成的巨大潛力，對這一領域的關注度也越來越高。

除了視頻生成，在現實生活中，如何對視頻進行編輯同樣是一個重要的問題，且應用場景更為廣泛。以往的視頻編輯方法往往局限于「外觀」層面的編輯，例如對視頻進行「風格遷移」或者替換視頻中的物體，但關于更改視頻中對象的「動作」的嘗試還很少。 

UniEdit 視頻編輯結果（動作編輯、風格遷移、背景替換、剛性 / 非剛性物體替換）

本文中，來自浙江大學、微軟亞洲研究院、和北京大學的研究者提出了一個基于文本描述的視頻編輯統一框架 UniEdit，不僅涵蓋了風格遷移、背景替換、剛性 / 非剛性物體替換等傳統外觀編輯場景，更可以有效地編輯視頻中對象的動作，例如將以上視頻中浣熊彈吉他的動作變成「吃蘋果」或是「招手」。

此外，除了靈活的自然語言接口和統一的編輯框架，這一模型的另一大優勢是無需訓練，大大提升了部署的便捷性和用戶使用的方便度。

• 論文標題：UniEdit: A Unified Tuning-Free Framework for Video Motion and Appearance Editing
• 項目主頁：https://jianhongbai.github.io/UniEdit
• 代碼：https://github.com/JianhongBai/UniEdit
• 論文：https://arxiv.org/abs/2402.13185

1.UniEdit 在多種視頻編輯場景中的表現

a) 對象動作編輯

編輯指令：一只正在趴著的柯基

b) 風格化

編輯指令：上海，碼頭，油畫風格

c) 背景替換

編輯指令：鋼鐵俠在公園，冬季

d) 對象剛性編輯

編輯指令：一位男士穿著紅色西裝

e) 對象非剛性編輯

編輯指令：馬里奧正在享用晚餐

可以觀察到，UniEdit 在不同編輯場景中 1）保持了較好的時序一致性，2）較好的保留了原視頻的結構及紋理細節，3）生成符合文本描述的編輯視頻，展現出了強大的視頻編輯能力。

2.UniEdit 獨特之處與技術創新點

研究者表示，UniEdit 相較于其他視頻編輯方法，其獨特之處體現在：

• 多功能：支持視頻「動作」編輯以及多種視頻「外觀」編輯場景。
• 無需訓練：UniEdit 直接利用與訓練的文本到視頻生成模型，無需額外訓練或微調。
• 靈活性：可兼容不同文本到視頻生成模型，可以使用更加強大的視頻生成模型提升 UniEdit 編輯質量。

UniEdit 技術上的核心創新點為：

• 研究者發現，視頻生成模型的時間自注意層編碼了視頻的「幀間依賴性」。基于這個洞察，研究者引入了一個輔助的動作參考分支，用于生成文本引導的動作特征，然后通過時間自注意層（SA-T）將這些特征注入到主編輯路徑中，從而實現將文本引導的動作注入到源視頻中。
• 受到圖像編輯技術的啟發，研究者發現視頻生成模型的空間自注意層（SA-S）編碼了視頻幀內空間依賴性。因此，研究者引入了一個輔助視頻重建分支，并將從視頻重建分支的空間自我注意層獲得的特征注入到主編輯路徑中，以保留源視頻的非編輯內容。
• 為了在編輯外觀時保持空間結構，研究者將主編輯路徑中的空間注意力圖替換為視頻重建分支中的空間注意力圖。

3.UniEdit 算法框架解讀

方法概述。如上圖所示，UniEdit 主編輯路徑遵循反演 - 生成流程：使用 DDIM 反演后的潛變量作為初始噪聲，然后以目標提示為文本條件，使用預訓練的 UNet 進行去噪處理。進行動作編輯時，為了實現源內容保留和動作控制，研究者提出加入一個輔助視頻重建分支和一個輔助動作參考分支，以提供所需的源視頻內容和動作特征，這些特征被注入到主編輯路徑中，以實現內容保留和動作編輯。

對象動作編輯 — 內容保留。編輯任務的關鍵挑戰之一是繼承源視頻中的原始內容（例如紋理和背景）。如圖像編輯中所驗證的，重建過程中去噪模型的注意力特征包含了源視頻的內容信息。因此，UniEdit 將視頻重建分支中的注意力特征注入到主編輯路徑的空間自注意（SA-S）層中，以保留原視頻內容。

在去噪步驟 t，主編輯路徑中第個 SA-S 模塊的注意力機制操作如下：

其中是主編輯路徑中的特征，是重建分支中對應 SA-S 層的值（value），和為超參數。通過替換空間自注意力層的 value 特征，主編輯路徑合成的視頻保留了源視頻的未編輯特征（例如背景）。與之前的視頻編輯工作使用的跨幀注意力機制不同，研究者采用逐幀替換的操作，以更好地處理包含大幅度動作的源視頻。

對象動作編輯 — 動作注入。為了在不犧牲內容一致性的情況下獲得所需的動作，研究者提出用參考動作指導主編輯路徑。具體來說，在去噪過程中涉及一個輔助動作參考分支。與重建分支不同，動作參考分支以包含所需動作描述的目標提示為條件。為了將動作轉移到主編輯路徑，研究者的核心洞察是時間層模擬了合成視頻剪輯的幀間依賴性（如下圖所示）。受上述觀察的啟發，研究者設計了在主編輯路徑的時間自注意層上注入注意力圖：

其中和指的是動作參考分支的查詢（query）和鍵值（key），并在實踐中將和設置為零。研究者觀察到，時間注意力圖的注入可以有效地幫助主編輯路徑生成與目標提示一致的動作。為了更好地將動作與源視頻中的內容融合，研究者還在早期去噪步驟中對主編輯路徑和動作參考分支實施空間結構控制。

外觀編輯 — 空間結構控制。總的來說，外觀編輯和動作編輯之間有兩個主要區別。首先，外觀編輯不需要改變視頻的幀間關系。因此，研究者從動作編輯流程中移除了動作參考分支和相應的動作注入機制。其次，外觀編輯的主要挑戰是保持源視頻的結構一致性。為了解決這個問題，研究者在主編輯路徑和重建分支之間引入了空間結構控制。

先前的視頻外觀編輯方法主要利用輔助網絡（例如 ControlNet）實現空間結構控制。當輔助控制模型失敗時，可能會導致在保持原始視頻結構方面的性能下降。作為替代，研究者建議從重建分支中提取源視頻的空間結構信息。直觀地說，空間自注意層中的注意力圖編碼了合成視頻的結構，如下圖所示。因此，研究者用重建分支中的查詢和鍵替換主編輯路徑中 SA-S 模塊的查詢和鍵：

其中和指重建分支的查詢和鍵，和用于控制編輯的程度。值得一提的是，空間結構控制的效果與內容保留機制不同。以風格化為例，上式中的結構控制機制只確保了每幀空間構圖的一致性，同時使模型能夠基于文本提示生成所需的紋理和風格。另一方面，內容呈現技術繼承了源視頻的紋理和風格。因此，研究者使用結構控制而不是內容保留來進行外觀編輯。

允許圖像輸入。為了使 UniEdit 更加靈活，研究者進一步提出一種方法，允許將圖像作為輸入并合成高質量的視頻。與圖像動畫技術不同，UniEdit 允許用戶用文本提示指導動畫過程。

具體來說，研究者提出首先通過以下方式實現文本到圖像（I2V）的生成：1）通過模擬相機運動轉換輸入圖像，形成偽視頻片段；或者 2）利用現有的圖像動畫方法（例如SVD、AnimateDiff）合成一個具有隨機動作的視頻（這可能與文本提示不一致）。然后，研究者使用以上介紹的 UniEdit 算法對原始視頻進行文本引導編輯，以獲得最終輸出視頻。

3.UniEdit 實驗結果

UniEdit 不局限于特定的視頻擴散模型。研究者將 UniEdit 建立在視頻生成模型 LaVie 之上，以驗證所提出方法的有效性。對于每個輸入視頻，研究者遵循 LaVie 的預處理步驟將分辨率調整為 320×512。然后，將預處理后的視頻輸入 UniEdit 進行視頻編輯。每個視頻在 NVIDIA A100 GPU 上編輯僅需 1-2 分鐘。

基線方法。為了評估 UniEdit 的性能，研究者將 UniEdit 的編輯結果與最先進的動作和外觀編輯方法進行比較。對于動作編輯，由于缺乏開源的無需訓練的方法，研究者將最先進的非剛性圖像編輯技術 MasaCtrl 適配到 T2V 模型，以及 one-shot 視頻編輯方法 Tune-A-Video (TAV) 作為強基線。對于外觀編輯，研究者使用最新的性能強大的方法，包括 FateZero、TokenFlow 和 Rerender-A-Video (Rerender) 作為基線。結果如下圖所示：

定性結果。研究者在圖中給出了 UniEdit 的編輯示例（更多示例見項目主頁及論文原文）。觀察到 UniEdit 可以：1）在不同場景中編輯，包括動作變化、物體替換、風格轉換、背景修改等；2）與目標提示一致；3）展示出極佳的時序一致性。

此外，研究者在圖 5 中與最先進的方法進行了比較。對于外觀編輯，即將源視頻轉換為油畫風格，UniEdit 在內容保留方面優于基線。例如草原仍保持其原始外觀，沒有任何額外的石頭或小路。對于動作編輯，大多數基線方法未能輸出與目標提示對齊的視頻，或者未能保留源內容。

定量結果。研究者從兩個方面定量驗證了 UniEdit 的有效性：時間一致性和與目標提示的一致性。遵循之前的工作，研究者使用 CLIP 模型計算幀間一致性和文本對齊的分數。研究者還通過邀請 10 位參與者對 UniEdit 和基線方法編輯的視頻進行五級評分（1-5）進行了用戶研究。如下表所示，UniEdit 的表現大幅超過基線方法。

更多細節內容請參閱原論文。