一張照片，秒變專屬電影！字節(jié)最新Lynx黑魔法護航高保真?zhèn)€性化視頻生成
論文鏈接：https://arxiv.org/pdf/2509.15496
Git鏈接：https://byteaigc.github.io/Lynx/
亮點直擊
介紹了Lynx，一個高保真的個性化視頻生成框架，旨在從單個輸入圖像中保留身份。Lynx 采用基于適配器的設計，具有兩個專用組件：ID-adapter 和 Ref-adapter。ID-adapter 利用交叉注意力從單個面部圖像中注入提取的身份特征。具體來說，面部嵌入使用面部識別模型獲得，并通過感知器重采樣器轉換為一組緊湊的身份 token ，從而實現豐富且高效的表示學習。為了進一步增強細節(jié)保留，Ref-adapter 結合了從預訓練的 VAE 編碼器（繼承自基礎模型）中提取的參考特征。這些特征通過擴散骨干的凍結副本獲得所有 DiT 塊的中間激活，然后通過交叉注意力融合到生成過程中。
?
在訓練中，采用多階段漸進策略，并設計了一個時空幀打包方案，以有效處理不同縱橫比和時間長度的圖像和視頻數據。
?
在一個精選的基準上評估了 Lynx，該基準包含 40 個多樣化的主體和 20 個以人為中心的無偏見提示，總共產生了 800 個測試案例。面部相似性使用三個專業(yè)的面部識別模型進行評估。為了評估提示跟隨和視頻質量，本文構建了一個自動化Pipeline，使用 Gemini-2.5-Pro API 指導模型評分美學質量、動作自然性、提示對齊和整體視頻質量。Lynx 在身份保留方面持續(xù)超越了最新的個性化視頻生成方法，同時在提示對齊和整體視頻質量上也表現出色。
總結速覽
解決的問題
Lynx 旨在解決個性化視頻生成中的身份保留問題。傳統(tǒng)方法在生成視頻時難以保持主體的身份一致性，而 Lynx 提供了一種從單一輸入圖像生成高保真?zhèn)€性化視頻的解決方案。
提出的方案
Lynx 引入了兩個輕量級適配器：ID-adapter 和 Ref-adapter。ID-adapter 使用 Perceiver Resampler 將 ArcFace 派生的面部嵌入轉換為身份 token 以進行條件輸入，Ref-adapter 則通過交叉注意力將凍結參考路徑中的密集 VAE 特征整合到所有 transformer 層中，確保細節(jié)保留。
應用的技術
- Diffusion Transformer（DiT）：作為基礎模型，為視頻生成提供高質量和可擴展性。
- Perceiver Resampler：用于將面部嵌入轉換為身份 token，以實現高效的身份表示。
- 交叉注意力：用于將參考特征整合到生成過程中，增強細節(jié)保留。
達到的效果
Lynx 在一個包含 40 個主體和 20 個無偏見提示的基準上進行評估，生成了 800 個測試案例，表現出卓越的面部相似性、競爭力強的提示跟隨能力和出色的視頻質量，超越了現有的個性化視頻生成方法。
架構與訓練策略
模型架構
本文采用最新開源的視頻基礎模型之一 Wan2.1 作為本文的基礎模型。Wan 構建于 DiT 架構之上，并結合了 Flow Matching 框架。每個 DiT 塊首先對視覺 token 應用時空自注意力，從而能夠聯合建?？臻g細節(jié)和時間動態(tài)，然后通過交叉注意力來結合文本條件。
本文沒有重構和微調整個模型，而是引入了兩個適配器模塊，即 ID-adapter 和 Ref-adapter，以在基礎模型之上注入身份特征并實現個性化視頻生成。整體架構和適配器設計如下圖 3 所示。
ID-adapter。先前的工作在諸如 Stable Diffusion 的文本生成圖像模型中結合了面部識別特征以實現個性化生成。這些方法通常附加額外的適配器層并引入額外的交叉注意力模塊以在生成中條件化身份特征。具體來說，面部圖像通過面部特征提取器傳遞以獲得特征向量。為了將該向量轉換為適合交叉注意力的序列，訓練了一個 Perceiver Resampler（也稱為 Q-Former）將其映射為固定長度的 token 嵌入表示。本文采用相同的范式。給定一個維度為 512 的面部特征向量，重采樣器生成一個維度為 5120 的 16 個 token 嵌入的序列。 token 嵌入與 16 個額外的寄存器 token 連接，并與輸入視覺 token 進行交叉注意。生成的表示然后被添加回主分支。
Ref-adapter。一些最近的方法使用 VAE 特征來增強在參考注入期間的細節(jié)保留，利用了 VAE 編碼器生成的空間密集表示。為了補充 ID-adapter，本文的設計還結合了 VAE 密集特征以增強身份保真度。與直接將特征圖放在噪聲潛變量前面以類似圖像到圖像生成方式的先前方法不同，本文通過基礎模型的凍結副本處理參考圖像（噪聲水平為 0，文本提示為“image of a face”），類似于 ReferenceNet 的設計。這允許參考圖像的空間細節(jié)在所有層中被捕獲。與 ID-adapter 一樣，本文在每一層應用單獨的交叉注意力以整合相應的參考 token。
訓練策略
本文在此描述用于大規(guī)模訓練的策略。由于訓練視頻（和圖像）在空間分辨率和時間長度上都存在差異，本文采用 NaViT 方法來高效地批處理異構輸入。多個視頻或圖像被打包成一個長序列，并應用注意力 mask 以分隔樣本。訓練遵循漸進式課程，從圖像預訓練開始，利用大量的圖像數據，然后擴展到視頻訓練以恢復時間動態(tài)。
時空幀打包
傳統(tǒng)的圖像域訓練通常依賴分桶來處理多分辨率輸入。圖像被裁剪并調整為一組預定義的縱橫比和分辨率，在訓練期間，數據加載器從單個桶中采樣，以便批次中的圖像共享相同的尺寸。雖然這種策略對圖像有效，但對視頻不太適用，因為額外的時間維度（幀長度）增加了復雜性。按分辨率和持續(xù)時間分桶減少了靈活性，并限制了模型對任意縱橫比和視頻長度的泛化能力。
為了克服這一限制，受 Patch n’ Pack 的啟發(fā)，本文將每個視頻的補丁化 token 連接成一個長序列，將集合視為一個統(tǒng)一的批次。注意力 mask 確保 token 僅在其自身的視頻內進行注意，防止跨樣本干擾。對于位置編碼，本文獨立地對每個視頻應用 3D 旋轉位置嵌入 (3D-RoPE)。這種設計在保留空間和時間一致性的同時，實現了異構圖像和視頻的高效批處理。
漸進式訓練
圖像預訓練。 由于有大量可用的圖像數據，本文從圖像預訓練開始。為了確保訓練階段的一致性，每張圖像被視為單幀視頻，并應用上述相同的幀打包策略。在本文的實驗中，從頭開始訓練 Perceiver Resampler 產生了不理想的結果：即使經過大量訓練，也沒有觀察到面部相似性，這表明模型要么無法收斂，要么需要極長的訓練時間。相反，本文發(fā)現從圖像域預訓練的檢查點（例如 InstantID）初始化 Resampler 可以顯著加速收斂。通過這種初始化，僅經過 10k 次迭代后就出現了可識別的面部相似性，而完整的第一階段運行了 40k 次迭代。
視頻訓練。 僅進行圖像預訓練往往會產生較為靜態(tài)的視頻，因為模型主要學習保持外觀而不是捕捉動作。為了恢復時間動態(tài)，第二階段需要讓模型接觸大規(guī)模視頻數據。這個階段使網絡能夠學習運動模式、場景轉換和時間一致性，同時保留并增強在圖像預訓練期間建立的強身份條件。訓練持續(xù)進行 60k 次迭代。
數據 Pipeline
本文的數據Pipeline目標是構建高質量的人物–文本–視頻三元組。雖然可以通過字幕生成模型（例如 Qwen 2.5-VL）輕松獲取文本提示，但主要挑戰(zhàn)在于建立可靠的人物–視頻對，即將人物圖像作為身份 (ID) 條件與同一人物的目標視頻配對。
本文的原始數據包括從公開可用的數據集和內部來源收集的圖像和視頻。這些數據可以分為四種類型：(1) 單個圖像；(2) 單個視頻；(3) 同一人物的多場景圖像集合；(4) 同一人物的多場景視頻集合。為了構建圖像–圖像和圖像–視頻對，其中一個圖像作為 ID 條件，另一個圖像或視頻作為生成目標，一個簡單的方法是直接從圖像或視頻中裁剪面部。然而，這通常導致表情和光照的過擬合。同時，多場景數據對于穩(wěn)健訓練至關重要，但本質上稀缺。
為了解決這些限制，本文采用了兩種增強策略，如下圖 4 所示：
- 表情增強。本文使用 X-Nemo 編輯源面部以匹配目標表情，從而豐富表情多樣性（下圖 4a）。
- 人像重光。本文應用 LBM 在不同光照條件下重新照明面部并替換背景，以增強對光照變化的魯棒性（下圖 4b）。
增強后，本文使用人臉識別模型進行身份驗證，并丟棄相似度低的對，以確保高質量的 ID 一致性。相似度過濾也適用于未增強的原始多場景數據。
最終，本文的Pipeline共構建了 5020 萬對，包括 2150 萬單場景對、770 萬多場景對和 2100 萬增強的單場景對。對于直接從目標中裁剪條件圖像的單場景對，本文額外通過分割人物主體并替換背景來應用背景增強。在訓練過程中，通過加權采樣檢索這些不同類型的對，以平衡數據多樣性。
實驗
基準測試和指標
本文構建了一個評估基準測試，包括 40 個主體和 20 個無偏見的文本提示，總共生成 800 個測試視頻。主體集由以下組成：(1) 10 位名人照片，(2) 10 個 AI 合成肖像，以及 (3) 20 張涵蓋多樣化人口群體的內部授權照片，以捕捉種族和民族多樣性。文本提示使用 ChatGPT-4o 生成，經過精心設計的上下文示例指導，并明確避免在種族、年齡、性別、動作和其他屬性上的偏見。
本文從三個關鍵維度評估 Lynx：面部相似性、提示遵循度和視頻質量。
面部相似性。 為了測量身份保真度，本文使用三個獨立的特征提取器計算余弦相似度。這些包括兩個公開可用的 ArcFace 實現，facexlib 和 insightface，以及本文內部的人臉識別模型。使用多個提取器可以減少對單一特征空間的依賴，并提供更可靠的身份保留評估。
提示遵循度和視頻質量。 為了評估語義對齊和感知質量，本文構建了一個基于 Gemini-2.5-Pro API 的自動化評估Pipeline。在此Pipeline中，Gemini 被指示使用特定任務提示在四個維度上進行評分：(1) 提示對齊度，評估生成視頻與輸入文本描述之間的一致性，(2) 美學質量，衡量視覺吸引力和構圖，(3) 動作自然度，捕捉時間動態(tài)的流暢性和現實感，以及 (4) 綜合視頻質量，提供一個整合多方面感知保真度的總體判斷。該評估框架允許對生成視頻進行超越傳統(tǒng)專家模型指標的可擴展和多方面的評估。
定性結果
下圖 5 展示了 Lynx 與最新基線方法的定性比較。如圖所示，現有方法經常在身份保留方面表現不佳，生成的面部偏離參考主體或丟失細節(jié)（第 1 行示例 1，第 3 行示例 2）。此外，它們常常生成不真實的行為（第 1 行示例 2）、背景的復制粘貼效果（第 4 行示例 2）或光照問題（第 5 行示例 2）。相比之下，Lynx 在多樣化提示下成功保持了強大的身份一致性，同時實現了自然的動作、連貫的視覺細節(jié)和高質量的場景整合。這些結果表明，本文的模型在身份保留、提示對齊和視頻真實性之間有效地達到了平衡，在保真度和可控性方面優(yōu)于現有方法。
定量結果
下表 1 報告了在人臉相似性、提示遵循度和視頻質量方面的定量比較。在身份保留方面，Lynx 始終優(yōu)于所有基線，在 facexlib、insightface 和本文內部的人臉識別模型下取得了最高的相似性得分。SkyReels-A2 在身份相似性上排名第二，但其對復制粘貼生成的依賴引入了視覺偽影，導致語義對齊較弱，如下表 2 所示，其提示遵循性能較差。Phantom 展示了強大的提示對齊能力，但以犧牲身份保真度為代價，這表明在語義一致性和主體保留之間存在權衡。相比之下，Lynx 實現了最佳的平衡，結合了卓越的身份保真度和有競爭力的提示對齊，突顯了本文基于適配器設計的優(yōu)勢。
上表 2 進一步使用 Gemini-2.5-Pro 評估Pipeline評估了提示遵循度、美學質量、動作自然度和整體視頻質量。Lynx 在五個指標中的四個中表現最佳，包括提示對齊、美學和整體視頻質量，這表明本文的輸出具有感知質量。VACE 在動作自然度上獲得最高分，反映了其強大的時間建模能力，而 Phantom 和 Stand-In 在大多數維度上表現競爭，但在整體視頻質量上落后。這些結果表明，Lynx 不僅更有效地保留了身份，還生成了語義準確、視覺吸引力強且感知質量高的視頻。
下圖 1 提供了這些比較的視覺總結，其中 Lynx 在身份相似性和感知質量維度上表現出一致的優(yōu)越性，同時在動作自然度上保持競爭力。多個評估者的綜合證據強調了本文方法的穩(wěn)健性，并確立了 Lynx 作為個性化視頻生成的新標準。
結論
Lynx，一個用于個性化視頻生成的高保真框架，可以從單個參考圖像中保留主體身份。該模型包含兩個輕量級適配器：ID-adapter，用于編碼從 ArcFace 派生的身份 token，以及 Ref-adapter，通過凍結的參考路徑集成基于 VAE 的密集特征。這些組件共同實現了在保持動作自然性和視覺連貫性的同時，提供強大的身份保真度。本文在一個精心策劃的基準上評估了 Lynx，該基準包含 40 個主體和 20 個無偏見提示，總計 800 個測試案例，涵蓋多樣的身份和場景，發(fā)現其在人臉相似性方面達到了最先進的性能，同時在提示遵循度和視頻質量上也表現出色。總的來說，Lynx 通過一個可擴展的基于適配器的框架推進了個性化視頻生成，實現了身份保留、可控性和真實性之間的平衡，并為未來向多模態(tài)和多主體個性化的擴展奠定了基礎。
本文轉自AI生成未來 ，作者：AI生成未來
