隨著擴(kuò)散模型的發(fā)展，基于輸入文本生成高質(zhì)量的圖片和視頻已經(jīng)成為現(xiàn)實(shí)，但是僅使用文本生成視覺內(nèi)容的可控性有限。

為了克服這個(gè)問題，研究人員們開始探索額外的控制信號(hào)和對(duì)現(xiàn)有內(nèi)容進(jìn)行編輯的方法。這兩個(gè)方向在一定程度上實(shí)現(xiàn)了生成過程的可控性，但仍然需要依賴文本來描述目標(biāo)生成內(nèi)容。

在實(shí)際應(yīng)用中，我們面臨著一個(gè)新的需求：如果用戶想要生成的內(nèi)容無法用語言描述呢？

例如，用戶想生成某一個(gè)普通人的視頻，但僅在輸入文本中使用普通人的名字是無意義的，因?yàn)檎Z言模型無法識(shí)別不在訓(xùn)練語料中的個(gè)體姓名。

針對(duì)這個(gè)問題，一種可行的解決方案是基于給定個(gè)體訓(xùn)練個(gè)性化的模型。

例如，DreamBooth和Dreamix通過多張圖片理解個(gè)體概念，從而進(jìn)行個(gè)性化的內(nèi)容生成，不過這兩種方法需要對(duì)每個(gè)個(gè)體分別進(jìn)行學(xué)習(xí)，并且需要該個(gè)體的多張訓(xùn)練圖片和精細(xì)化調(diào)參。

最近，來自新加坡國立大學(xué)（NUS）和華為諾亞實(shí)驗(yàn)室的研究者們?cè)趥€(gè)性化視頻編輯上取得了新的進(jìn)展，通過多個(gè)集成模型的協(xié)同工作，無需對(duì)個(gè)性化概念進(jìn)行額外的訓(xùn)練和微調(diào)，僅僅需要一張目標(biāo)參考圖片，就能實(shí)現(xiàn)對(duì)已有視頻的主角替換、背景替換以及特定主角的文生視頻。

項(xiàng)目主頁：https://make-a-protagonist.github.io/

論文地址：https://arxiv.org/pdf/2305.08850.pdf

代碼地址：https://github.com/Make-A-Protagonist/Make-A-Protagonist

這項(xiàng)研究為個(gè)性化視頻編輯領(lǐng)域帶來了新的可能性，使得生成個(gè)性化內(nèi)容變得更加簡(jiǎn)便和高效。

介紹

Make-A-Protagonist將視頻分為主角和背景，對(duì)二者使用視覺或語言參考信息，從而實(shí)現(xiàn)主角編輯、背景編輯和特定主角的文生視頻。

主角編輯功能允許用戶使用相同的場(chǎng)景描述，但通過參考圖像來替換視頻中的主角。這意味著用戶可以使用自己選擇的圖像來替換視頻中的主要角色。

背景編輯功能允許用戶使用與原始視頻相同的主角描述（例「Suzuki Jimny」），并使用原始視頻幀作為視覺信息，但可以更改對(duì)場(chǎng)景的文字描述（例如「in the rain」）。這樣，用戶可以保持相同的主角，但改變場(chǎng)景的描述，營造出不同的視覺效果。

特定主角的文生視頻功能將主角編輯和背景編輯結(jié)合起來。用戶可以使用參考圖像作為主角，并對(duì)場(chǎng)景進(jìn)行描述，從而創(chuàng)造出全新的視頻內(nèi)容。此外，對(duì)于多主角視頻，Make-A-Protagonist還可以對(duì)單個(gè)或多個(gè)角色進(jìn)行更改。

與DreamBooth和Dreamix不同，Make-A-Protagonist僅需要單張參考圖像，不需要對(duì)每個(gè)概念進(jìn)行微調(diào)，因此在應(yīng)用場(chǎng)景上更加靈活多樣。Make-A-Protagonist為用戶提供了一種簡(jiǎn)便而高效的方式來實(shí)現(xiàn)個(gè)性化的視頻編輯和生成。

方法

Make-A-Protagonist使用多個(gè)強(qiáng)大的專家模型，對(duì)原視頻、視覺和語言信息進(jìn)行解析，并結(jié)合基于視覺語言的視頻生成模型和基于掩碼的去噪采樣算法，實(shí)現(xiàn)通用視頻編輯。該模型主要由三個(gè)關(guān)鍵部分組成：原視頻解析，視覺和語言信息解析，以及視頻生成。

具體來說，Make-A-Protagonist推理過程包括以下三步：首先使用BLIP-2, GroundingDINO、Segment Anything 和 XMem等模型對(duì)原視頻進(jìn)行解析，獲得視頻的主角掩碼，并解析原視頻的控制信號(hào)。

接下來，使用CLIP和DALL-E 2 Prior對(duì)視覺和語言信息進(jìn)行解析。最后，使用基于視覺語言的視頻生成模型和基于掩碼的去噪采樣算法，利用解析信息生成新的內(nèi)容。

Make-A-Protagonist的創(chuàng)新之處在于引入了基于視覺語言的視頻生成模型和基于掩碼的去噪采樣算法，通過整合多個(gè)專家模型并解析、融合多種信息，實(shí)現(xiàn)了視頻編輯的突破。

這些模型的運(yùn)用使得該系統(tǒng)更加精準(zhǔn)地理解原視頻、視覺和語言信息，并能夠生成高質(zhì)量的視頻內(nèi)容。

Make-A-Protagonist為用戶提供了一款強(qiáng)大而靈活的工具，讓他們能夠輕松進(jìn)行通用的視頻編輯，創(chuàng)作出獨(dú)特而令人驚艷的視覺作品。

1. 原視頻解析

原視頻解析的目標(biāo)是獲取原視頻的語言描述（caption）、主角文字描述、主角分割結(jié)果以及ControlNet所需的控制信號(hào)。

針對(duì)caption和主角文字描述，Make-A-Protagonist采用了BLIP-2模型。

通過對(duì)BLIP-2的圖像網(wǎng)絡(luò)進(jìn)行修改，實(shí)現(xiàn)了對(duì)視頻的解析，并使用captioning模式生成視頻的描述，這些描述在訓(xùn)練和視頻編輯中用于視頻生成網(wǎng)絡(luò)。

對(duì)于主角文字描述，Make-A-Protagonist使用VQA模式，提出問題：「視頻的主角是什么？」并使用答案進(jìn)一步解析原視頻中的主角信息。

在原視頻中的主角分割方面，Make-A-Protagonist利用上述得到的主角文字描述，在第一幀中使用GroundingDINO模型來定位相應(yīng)的檢測(cè)內(nèi)容，并使用Segment Anything模型獲得第一幀的分割掩碼。然后，借助跟蹤網(wǎng)絡(luò)（XMem），Make-A-Protagonist得到整個(gè)視頻序列的分割結(jié)果。

除此之外，Make-A-Protagonist利用ControlNet來保留原視頻的細(xì)節(jié)和動(dòng)作，因此需要提取原視頻的控制信號(hào)。文中使用了深度信號(hào)和姿態(tài)信號(hào)。

通過這些創(chuàng)新的解析方法和技術(shù)，Make-A-Protagonist能夠準(zhǔn)確地解析原視頻的語言描述、主角信息和分割結(jié)果，并提取控制信號(hào)，為后續(xù)的視頻生成和編輯打下了堅(jiān)實(shí)的基礎(chǔ)。

2. 視覺和語言信息解析

對(duì)于視覺信號(hào)，Make-A-Protagonist在本文中采用CLIP image embedding作為生成條件，為了去除參考圖像背景的影響，類似于原視頻解析，Make-A-Protagonist使用GroundingDINO和Segment Anything得到參考圖像主角的分割掩碼，使用掩碼將分割后的圖像輸入CLIP視覺模型，以獲取參考視覺信息。

語言信息主要用于控制背景，本文將語言信息用于兩方面，一方面使用CLIP語言模型提取特征，作為注意力網(wǎng)絡(luò)的key和value。

另一方面，使用DALL-E 2 Prior網(wǎng)絡(luò)，將語言特征轉(zhuǎn)化為視覺特征，從而增強(qiáng)表征能力。

3. 視頻生成

3.1 視頻生成網(wǎng)絡(luò)訓(xùn)練

為了充分利用視覺信息，Make-A-Protagonist使用Stable UnCLIP作為預(yù)訓(xùn)練模型，并對(duì)原視頻進(jìn)行微調(diào)，從而實(shí)現(xiàn)利用視覺信息進(jìn)行視頻生成。

在每個(gè)訓(xùn)練迭代中，Make-A-Protagonist提取視頻中隨機(jī)一幀的CLIP image embedding，將其作為視覺信息輸入到Residual block中。

3.2 基于掩碼的去噪采樣

為融合視覺信息和語言信息，本文提出基于掩碼的去噪采樣，在特征空間和隱空間對(duì)兩種信息進(jìn)行融合。

具體來說，在特征域，Make-A-Protagonist使用原視頻的主角掩碼，將主角對(duì)應(yīng)部分使用視覺信息，背景對(duì)應(yīng)部分使用DALL-E 2 Prior轉(zhuǎn)化后的語言信息：

在隱空間中，Make-A-Protagonist將僅使用視覺信息的推理結(jié)果和經(jīng)過特征融合的推理結(jié)果按照原視頻的主角掩碼進(jìn)行融合：

通過特征空間和隱空間的信息融合，生成的結(jié)果更加真實(shí)，并且與視覺語言表述更加一致。

總結(jié)

Make-A-Protagonist引領(lǐng)了一種全新的視頻編輯框架，充分利用了視覺和語言信息。

該框架為實(shí)現(xiàn)對(duì)視覺和語言的獨(dú)立編輯提供了解決方案，通過多個(gè)專家網(wǎng)絡(luò)對(duì)原視頻、視覺和語言信息進(jìn)行解析，并采用視頻生成網(wǎng)絡(luò)和基于掩碼的采樣策略將這些信息融合在一起。

Make-A-Protagonist展現(xiàn)了出色的視頻編輯能力，可廣泛應(yīng)用于主角編輯、背景編輯和特定主角的文生視頻任務(wù)。

Make-A-Protagonist的出現(xiàn)為視頻編輯領(lǐng)域帶來了新的可能性。它為用戶創(chuàng)造了一個(gè)靈活且創(chuàng)新的工具，讓他們能夠以前所未有的方式編輯和塑造視頻內(nèi)容。

無論是專業(yè)編輯人員還是創(chuàng)意愛好者，都能夠通過Make-A-Protagonist打造出獨(dú)特而精彩的視覺作品。

參考資料：

https://make-a-protagonist.github.io/