TextCrafter: Accurately Rendering Multiple Texts in Complex Visual Scenes

2025-03-30｜NJU, China Mobile, HKUST|??61

???http://arxiv.org/abs/2503.23461v2????
????https://huggingface.co/papers/2503.23461????
????https://github.com/NJU-PCALab/TextCrafter.git???

研究背景與意義

復(fù)雜視覺(jué)文本生成（CVTG）任務(wù)近年來(lái)受到廣泛關(guān)注，其核心挑戰(zhàn)在于如何在圖像的不同區(qū)域生成精確、清晰且上下文一致的文本內(nèi)容。現(xiàn)有模型如FLUX和SD3.5雖然在簡(jiǎn)單場(chǎng)景中表現(xiàn)良好，但在多文本復(fù)雜場(chǎng)景下常出現(xiàn)文本混淆、遺漏或模糊等問(wèn)題。TextCrafter正是為解決這些問(wèn)題而提出的一種創(chuàng)新方法。

• 研究背景：隨著擴(kuò)散模型的發(fā)展，視覺(jué)圖像生成技術(shù)取得了顯著進(jìn)步，但復(fù)雜視覺(jué)文本生成仍面臨諸多挑戰(zhàn)。例如，多文本之間的干擾、小尺寸文本的模糊以及位置錯(cuò)位等問(wèn)題嚴(yán)重影響了生成效果。
• 研究意義：TextCrafter通過(guò)引入實(shí)例融合、區(qū)域隔離和文本聚焦三大機(jī)制，有效解決了上述問(wèn)題。它不僅提升了復(fù)雜場(chǎng)景中文本生成的準(zhǔn)確性，還為評(píng)估此類(lèi)任務(wù)提供了新的基準(zhǔn)數(shù)據(jù)集CVTG-2K。

研究方法與創(chuàng)新

TextCrafter的核心創(chuàng)新點(diǎn)在于其獨(dú)特的三階段策略，具體如下：

1. 實(shí)例融合（Instance Fusion）實(shí)例融合通過(guò)加強(qiáng)文本與其載體之間的關(guān)聯(lián)，確保文本不會(huì)漂浮在圖像中，而是準(zhǔn)確地定位到指定位置。該方法利用前引號(hào)的嵌入信息來(lái)捕捉文本的空間關(guān)系，并通過(guò)加權(quán)融合的方式將文本嵌入整合到載體嵌入中。這種方法避免了直接使用文本自身嵌入可能帶來(lái)的偏差。
2. 區(qū)域隔離（Region Insulation）區(qū)域隔離旨在減少多文本之間的相互干擾。通過(guò)為每個(gè)文本分配矩形邊界框并初始化布局信息，模型能夠有效地分離不同文本區(qū)域。這一過(guò)程利用了預(yù)訓(xùn)練DiT模型的位置先驗(yàn)知識(shí)，從而避免了手動(dòng)指定布局或依賴(lài)大型語(yǔ)言模型的局限性。
3. 文本聚焦（Text Focus）文本聚焦機(jī)制通過(guò)增強(qiáng)注意力機(jī)制，提升對(duì)小尺寸文本的關(guān)注度。具體而言，該方法通過(guò)調(diào)整注意力權(quán)重，使模型更加專(zhuān)注于文本及其前引號(hào)部分，從而提高渲染精度。此外，tanh函數(shù)被用于控制增強(qiáng)幅度，防止過(guò)度放大導(dǎo)致失真。

方法優(yōu)勢(shì)：

• 全局到局部的逐步細(xì)化：從整體任務(wù)分解到子任務(wù)，再到具體文本的精確渲染，實(shí)現(xiàn)了由粗到精的過(guò)程。
• 無(wú)需額外訓(xùn)練：TextCrafter基于預(yù)訓(xùn)練模型構(gòu)建，無(wú)需額外訓(xùn)練或微調(diào)，降低了實(shí)現(xiàn)成本。
• 廣泛的適用性：適用于多種復(fù)雜場(chǎng)景，包括長(zhǎng)文本、小尺寸文本、數(shù)字和符號(hào)等。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

為了驗(yàn)證TextCrafter的有效性，研究團(tuán)隊(duì)設(shè)計(jì)了一系列實(shí)驗(yàn)，并將其與其他基線(xiàn)方法進(jìn)行了對(duì)比。

1. 實(shí)驗(yàn)設(shè)計(jì)

• 數(shù)據(jù)集：提出了全新的CVTG-2K數(shù)據(jù)集，包含多樣化的視覺(jué)文本提示，涵蓋位置、數(shù)量、長(zhǎng)度和屬性等多個(gè)維度。
• 指標(biāo)：采用OCR準(zhǔn)確率（Word Accuracy）、歸一化編輯距離（NED）和CLIPScore三種指標(biāo)進(jìn)行評(píng)估。
• 基線(xiàn)方法：包括Stable Diffusion 3.5 Large、FLUX.1 dev、AnyText、TextDiffuser-2、RAG-Diffusion和3DIS等。

2. 結(jié)果分析

• 在CVTG-2K數(shù)據(jù)集上，TextCrafter顯著優(yōu)于其他方法。特別是在多區(qū)域文本生成任務(wù)中，其OCR準(zhǔn)確率比FLUX高出45%以上。
• 對(duì)于小尺寸文本，TextCrafter的表現(xiàn)尤為突出，其清晰度和準(zhǔn)確性遠(yuǎn)超其他模型。
• 定性結(jié)果表明，TextCrafter生成的圖像不僅美觀和諧，還能準(zhǔn)確渲染多個(gè)視覺(jué)文本，同時(shí)保持穩(wěn)定性。

3. 對(duì)比基準(zhǔn)

• SD3.5和FLUX在簡(jiǎn)單場(chǎng)景中表現(xiàn)良好，但隨著文本區(qū)域數(shù)量增加，性能急劇下降。
• AnyText和TextDiffuser-2專(zhuān)注于單區(qū)域生成，在復(fù)雜場(chǎng)景中的泛化能力不足。
• RAG-Diffusion和3DIS雖能處理復(fù)雜場(chǎng)景，但在視覺(jué)文本生成的具體要求上表現(xiàn)欠佳。

結(jié)論與展望

1. 總結(jié)貢獻(xiàn)

• 提出了TextCrafter，一種無(wú)需訓(xùn)練的復(fù)雜視覺(jué)文本生成框架，包含實(shí)例融合、區(qū)域隔離和文本聚焦三大機(jī)制。
• 構(gòu)建了CVTG-2K數(shù)據(jù)集，為評(píng)估復(fù)雜視覺(jué)文本生成任務(wù)提供了全面的基準(zhǔn)。
• 實(shí)驗(yàn)結(jié)果證明，TextCrafter在OCR準(zhǔn)確率、NED和CLIPScore等多個(gè)指標(biāo)上均表現(xiàn)出色。

2. 分析局限

• 當(dāng)前方法主要針對(duì)靜態(tài)圖像中的文本生成，對(duì)于動(dòng)態(tài)場(chǎng)景或視頻中的文本生成尚未涉及。
• CVTG-2K數(shù)據(jù)集雖然多樣化，但仍需進(jìn)一步擴(kuò)展以覆蓋更多極端情況。

3. 方法展望

• 將TextCrafter擴(kuò)展至動(dòng)態(tài)場(chǎng)景，探索其在視頻生成中的應(yīng)用潛力。
• 引入更多樣化的屬性（如字體風(fēng)格、顏色漸變等），進(jìn)一步豐富視覺(jué)文本的表現(xiàn)力。
• 開(kāi)發(fā)更高效的優(yōu)化算法，降低計(jì)算成本，提升實(shí)時(shí)性。

MoCha: Towards Movie-Grade Talking Character Synthesis

2025-03-30｜U Waterloo, Meta GenAI, Meta |??49

???http://arxiv.org/abs/2503.23307v1????
????https://huggingface.co/papers/2503.23307????
????https://congwei1230.github.io/MoCha/???

研究背景與意義

MoCha的提出旨在解決現(xiàn)有視頻生成模型在自動(dòng)化電影制作中的局限性。當(dāng)前模型盡管在視覺(jué)效果和動(dòng)態(tài)環(huán)境方面取得了顯著進(jìn)展，但在生成具有完整身體動(dòng)作、情感表達(dá)和多角色互動(dòng)的對(duì)話(huà)場(chǎng)景時(shí)仍顯不足。MoCha通過(guò)結(jié)合語(yǔ)音和文本輸入生成高質(zhì)量的電影級(jí)角色動(dòng)畫(huà)，不僅實(shí)現(xiàn)了精確的唇形同步，還能夠自然地表達(dá)情感和全身動(dòng)作，從而推動(dòng)了自動(dòng)化敘事技術(shù)的發(fā)展。

• 研究背景：自動(dòng)化電影制作潛力巨大，可實(shí)現(xiàn)大眾化的電影級(jí)敘事。然而，現(xiàn)有模型在生成具有豐富敘事內(nèi)容的角色動(dòng)畫(huà)時(shí)存在明顯限制。
• 研究意義：MoCha首次實(shí)現(xiàn)了從語(yǔ)音和文本直接生成包含多角色對(duì)話(huà)的動(dòng)畫(huà)視頻，突破了傳統(tǒng)單一角色或僅限面部區(qū)域的生成方法，為電影制作和虛擬助手等領(lǐng)域提供了新的可能性。

研究方法與創(chuàng)新

MoCha的核心創(chuàng)新在于其端到端訓(xùn)練架構(gòu)和關(guān)鍵機(jī)制的設(shè)計(jì)，這些設(shè)計(jì)顯著提升了模型的表現(xiàn)力和泛化能力。

• 端到端訓(xùn)練無(wú)輔助條件：MoCha無(wú)需依賴(lài)外部控制信號(hào)（如參考圖像、骨架或關(guān)鍵點(diǎn)），直接基于文本和語(yǔ)音進(jìn)行訓(xùn)練。這種簡(jiǎn)化不僅降低了模型復(fù)雜度，還增強(qiáng)了動(dòng)作多樣性和泛化能力。
• 語(yǔ)音-視頻窗口注意力機(jī)制：為了改善語(yǔ)音與視頻之間的對(duì)齊，MoCha引入了一種新型注意力機(jī)制，該機(jī)制通過(guò)局部時(shí)間條件約束音頻和視頻令牌的關(guān)聯(lián)。這一設(shè)計(jì)顯著提高了唇形同步精度，并確保了語(yǔ)音與視頻的一致性。
• 聯(lián)合語(yǔ)音-文本訓(xùn)練策略：針對(duì)大規(guī)模語(yǔ)音標(biāo)注視頻數(shù)據(jù)稀缺的問(wèn)題，MoCha采用了一種聯(lián)合訓(xùn)練框架，同時(shí)利用語(yǔ)音標(biāo)注和文本標(biāo)注的視頻數(shù)據(jù)。這種方法增強(qiáng)了模型在多樣化角色動(dòng)作上的泛化能力，并實(shí)現(xiàn)了通過(guò)自然語(yǔ)言提示對(duì)角色表情、動(dòng)作和環(huán)境的精細(xì)控制。
• 多角色對(duì)話(huà)生成：MoCha首次實(shí)現(xiàn)了連貫的多角色動(dòng)態(tài)對(duì)話(huà)生成，支持基于場(chǎng)景切換的多片段生成。通過(guò)自注意力機(jī)制，模型能夠在多個(gè)片段中保持角色和環(huán)境的一致性，而無(wú)需額外的架構(gòu)修改。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

實(shí)驗(yàn)部分驗(yàn)證了MoCha在多個(gè)維度上的優(yōu)越性能，包括唇形同步質(zhì)量、面部表情自然度、動(dòng)作自然度、文本對(duì)齊和整體視覺(jué)質(zhì)量。

• 實(shí)驗(yàn)設(shè)計(jì)：研究人員設(shè)計(jì)了一個(gè)專(zhuān)門(mén)用于評(píng)估Talking Characters任務(wù)的基準(zhǔn)數(shù)據(jù)集MoCha-Bench，其中包括150個(gè)多樣化的樣本。實(shí)驗(yàn)涵蓋了從近景到中景的不同鏡頭類(lèi)型，強(qiáng)調(diào)面部表情、唇形同步和全身動(dòng)作的表現(xiàn)。
• 結(jié)果分析：定量實(shí)驗(yàn)顯示，MoCha在唇形同步指標(biāo)Sync-C和Sync-D上均優(yōu)于基線(xiàn)方法。人類(lèi)評(píng)價(jià)結(jié)果進(jìn)一步表明，MoCha在所有五個(gè)評(píng)估維度上均顯著領(lǐng)先，尤其是在動(dòng)作自然度和文本對(duì)齊方面表現(xiàn)出色。

結(jié)論與展望

MoCha的成功展示了其在生成高質(zhì)量、可控性強(qiáng)的角色動(dòng)畫(huà)方面的潛力，為未來(lái)的研究奠定了堅(jiān)實(shí)基礎(chǔ)。

• 總結(jié)貢獻(xiàn)：MoCha不僅實(shí)現(xiàn)了精確的唇形同步和自然的情感表達(dá)，還在多角色對(duì)話(huà)生成和全身動(dòng)作表現(xiàn)上取得了突破。這些成果使其成為電影制作、虛擬助手等領(lǐng)域的有力工具。
• 分析局限：盡管MoCha表現(xiàn)優(yōu)異，但其生成的視頻在復(fù)雜動(dòng)作場(chǎng)景下仍可能存在輕微瑕疵。此外，模型對(duì)長(zhǎng)篇對(duì)話(huà)的處理能力仍有提升空間。
• 方法展望：未來(lái)工作可以進(jìn)一步優(yōu)化語(yǔ)音-視頻窗口注意力機(jī)制，以更好地處理長(zhǎng)時(shí)間序列數(shù)據(jù)。同時(shí)，探索更高效的聯(lián)合訓(xùn)練策略和更大規(guī)模的數(shù)據(jù)集將有助于提升模型的泛化能力和生成質(zhì)量。

本文轉(zhuǎn)載自????AI研究前瞻????，作者：胡耀淇