鎖定角色，「多主體」也可控！個性化文生圖，給你PS般交互體驗
大型擴散模型（如 Stable Diffusion）讓我們能夠從文字生成高保真的圖像。但當用戶希望「生成我和我的朋友們在不同場景中的照片」時，現有的個性化生成方法（如 DreamBooth、IP-Adapter）仍面臨兩個根本問題：
- 缺乏交互性：無法自由控制人物的空間位置、大小與關系。
- 難以擴展到多主體：每多一個人，內存和算力就線性增長。
LayerComposer的目標，就是要打破這兩大限制，讓用戶可以直觀地控制在哪里放置什么樣的元素，進行可控且高效的個性化生成。
項目地址：https://snap-research.github.io/layercomposer/
論文地址：https://arxiv.org/abs/2510.20820
「一張由雪人和三位女孩組成的合照」—— 你可以像在Photoshop里一樣，放置、縮放、鎖定角色，然后讓模型完成剩下的工作。
LayerComposer的三大設計
分層畫布（Layered Canvas）
每個人物、物體或背景都放在獨立的RGBA層 中（包含透明通道的圖片），這樣可以：
- 避免人物遮擋導致的信息丟失；
- 通過透明裁剪（Transparent Latent Pruning）顯著降低計算量；
- 支持任意數量的主體組合。
類似于在Photoshop里，每一層就是一個獨立的角色，隨意移動、縮放或刪除。
鎖定機制（Locking Mechanism）
每一層都可以選擇「鎖定（Lock）」或「解鎖（Unlock）」：
- 鎖定層 → 模型必須高保真地保留該層，僅允許細微的光照調整；
- 解鎖層 → 模型可以根據文字描述自由生成姿態、表情或交互。
你可以鎖定背景，讓人物隨提示變化，也可以鎖定一個角色姿勢，生成其他人圍繞他互動。
這種「可選保真度」讓 LayerComposer 比以往方法更接近人類的創作流程。
模型–數據共設計（Model–Data Co-Design）
LayerComposer的鎖定機制無需修改網絡結構。
研究人員通過「位置嵌入」（positional embedding） 與「數據采樣策略」共同實現：
- 鎖定層共享相同的空間編碼；
- 解鎖層使用獨立的編碼，以避免重疊混淆。
這種輕量化設計，可以在現有擴散模型（如 FLUX Kontext）上直接適配。
實驗結果
多主體、高保真、強可控
四人場景（4P）
在四人同框的任務中，LayerComposer的生成質量顯著優于 FLUX Kontext、Qwen-Image-Edit、Gemini 2.5 Flash Image等模型，能在存在遮擋的情況下保持人物結構完整，并忠實地還原每個人物。
雙人交互（2P）
在需要兩人互動的場景（如「一起吃飯」、「握手」）中，LayerComposer能生成自然的姿態與空間關系，不再出現「復制粘貼」或「少人」的問題，用戶偏好達到83.3%，遠超OmniGen2等最新模型。
單人個性化（1P）
即使只生成單人肖像，LayerComposer仍展示出優越的表現：
在保持身份一致的同時，能靈活生成不同表情與動作（如笑、閉眼、吃飯等），避免「貼臉」效果。
消融實驗
鎖定與分層的作用
鎖定機制（Locking Mechanism）
為了展示鎖定機制的效果，研究人員逐步對每一層輸入進行鎖定。
被鎖定的層會保留該人物的姿態——模型只會在此基礎上進行「外延繪制」（outpainting）和輕微的細節光照調整。
需要強調的是，這與「掩膜推理（masked inference）」不同：在掩膜推理中，被遮擋的區域完全不會被更新。
另外，在實驗設置中，未鎖定的層會根據已鎖定的內容和整體場景上下文靈活調整，從而實現自然的協調與融合。
分層畫布（Layered Canvas）
如果不使用分層畫布，模型就只能在訓練中以單張拼貼圖像（collage）作為條件輸入，如圖中 「Inputs」 一列所示。
可以看到，在「w/o layered canvas」（無分層畫布）的結果中，由于拼貼重疊造成的遮擋，會導致信息缺失。
例如，左邊女子圣誕帽上的球被遮擋后在生成結果中完全消失。
相比之下，提出的分層畫布能夠顯式地處理遮擋問題，從而避免此類偽影（artifacts）和細節丟失。
通過在Layered Cavas中調整每一個subject在各自layer的位置，LayerComposer支持直觀的空間布局調控。
總結
LayerComposer讓多主體個性化生成從「被動輸入」邁向「主動創作」。
用戶不再只是輸入文本，而是真正參與到構圖過程中。
從DreamBooth到LayerComposer，個性化生成，終于有了交互的靈魂。
未來展望
盡管LayerComposer帶來了交互式個性化的新范式，但仍存在一些挑戰。
在需要「復雜物理推理」（如「坐在輸入圖片椅子上」）的場景中可能失敗。
未來，研究人員計劃讓LayerComposer支持更強的理解能力和更多模態，以促進人機協同創作：
- 結合大語言與視覺模型（VLMs） 的理解能力，實現語義級別的自動布局與構圖建議；
- 支持視頻級別的分層個性化，讓交互式創作從靜態圖像走向動態場景；
- 探索生成與編輯的統一界面，讓用戶在同一畫布上無縫地修改、添加與再生成內容。
這種以「分層畫布」為核心的交互式個性化范式，將成為下一代生成式創作工具的重要方向。
