字節(jié)提出的 X-Streamer 是一個(gè)端到端的多模態(tài)人像世界建?？蚣?，用于從單一肖像構(gòu)建可無限流式傳輸?shù)臄?shù)字人，并能夠生成跨文本、語音和視頻的智能、實(shí)時(shí)、多輪響應(yīng)。X-Streamer 為交互式數(shù)字人的統(tǒng)一世界建模鋪平了道路。X-Streamer 提供音素級(jí)唇部同步，同時(shí)在整個(gè)視聽交互過程中保持遠(yuǎn)程對(duì)話記憶和視覺一致性。

無限流式生成

X-Streamer 能夠在單一統(tǒng)一架構(gòu)內(nèi)實(shí)現(xiàn)跨文本、語音和視頻的無限交互。

長對(duì)話上下文與智能交互

X-Streamer 可容納多達(dá) 8K 個(gè)對(duì)話上下文標(biāo)記，從而促進(jìn)多輪交互過程中的高級(jí)推理和長期記憶。

更多示例

X-Streamer 可以無縫地推廣到不同的場(chǎng)景，而無需重新訓(xùn)練。

視覺感知擴(kuò)展

視覺感知可以很容易地集成到現(xiàn)有的思想者-行動(dòng)者架構(gòu)中。

相關(guān)鏈接

• 論文：https://arxiv.org/pdf/2509.21574
• 項(xiàng)目：https://byteaigc.github.io/X-Streamer

論文閱讀

X-Streamer：具有視聽交互的統(tǒng)一人類世界建模

X-Streamer 是一個(gè)端到端的多模態(tài)人機(jī)世界建?？蚣埽糜跇?gòu)建能夠在單一統(tǒng)一架構(gòu)內(nèi)實(shí)現(xiàn)文本、語音和視頻之間無限交互的數(shù)字人機(jī)代理。X-Streamer 從單一肖像開始，實(shí)現(xiàn)由流式多模態(tài)輸入驅(qū)動(dòng)的實(shí)時(shí)、開放式視頻通話。其核心是一個(gè)思考者-行動(dòng)者雙轉(zhuǎn)換器架構(gòu)，該架構(gòu)統(tǒng)一了多模態(tài)理解和生成，將靜態(tài)肖像轉(zhuǎn)化為持久且智能的視聽交互。思考者模塊感知并推理流式用戶輸入，而行動(dòng)者模塊的隱藏狀態(tài)則實(shí)時(shí)轉(zhuǎn)換為同步的多模態(tài)流。具體而言，思考者模塊利用預(yù)訓(xùn)練的大型語言語音模型，而行動(dòng)者模塊則采用塊級(jí)自回歸擴(kuò)散模型，該模型交叉關(guān)注思考者的隱藏狀態(tài)，從而生成時(shí)間對(duì)齊的多模態(tài)響應(yīng)，其中包含交錯(cuò)的離散文本和音頻標(biāo)記以及連續(xù)的視頻潛伏信息。

為了確保長期穩(wěn)定性，論文設(shè)計(jì)了塊間和塊內(nèi)注意力機(jī)制，并利用時(shí)間對(duì)齊的多模態(tài)位置嵌入，實(shí)現(xiàn)細(xì)粒度的跨模態(tài)對(duì)齊和上下文保留，并通過塊級(jí)擴(kuò)散強(qiáng)制和全局身份引用進(jìn)一步增強(qiáng)。X-Streamer 在兩塊 A100 GPU 上實(shí)時(shí)運(yùn)行，能夠通過任意肖像維持長達(dá)數(shù)小時(shí)的一致視頻聊天體驗(yàn)，并為交互式數(shù)字人類的統(tǒng)一世界建模鋪平了道路。

方法概述

X-Streamer 概述。給定一幅肖像 I，X-Streamer 通過雙軌自回歸框架實(shí)現(xiàn)實(shí)時(shí)視聽交互。一個(gè)凍結(jié)的 Thinker Transformer（由預(yù)訓(xùn)練的語言語音模型實(shí)例化）負(fù)責(zé)解釋流式用戶文本和音頻查詢，而 Actor 則根據(jù) Thinker 的隱藏狀態(tài)生成同步的交錯(cuò)文本、語音和視頻流。視頻采用塊級(jí)自回歸擴(kuò)散生成，并通過擴(kuò)散強(qiáng)制機(jī)制進(jìn)行穩(wěn)定，并通過交叉注意力機(jī)制實(shí)現(xiàn)多模態(tài)對(duì)齊。X-Streamer 部署在兩塊 A100 GPU 上，以 25 fps 的幀率進(jìn)行流式傳輸，從而實(shí)現(xiàn)連貫的、長視界的多模態(tài)交互。

實(shí)驗(yàn)結(jié)果

音頻同步（頂部）和長距離（底部）視頻生成的定性比較。

視覺消融。擴(kuò)散強(qiáng)制和全局身份引用可以穩(wěn)定長視界視頻生成，同時(shí)在每個(gè)視頻塊中應(yīng)用空間雙向注意力（而不是完全因果的逐個(gè)標(biāo)記注意力）可以減少閃爍并保持結(jié)構(gòu)完整性。

結(jié)論

X-Streamer 是一個(gè)端到端的多模態(tài)交互式人機(jī)世界建?？蚣?，它將文本、語音和視頻的理解與生成統(tǒng)一在一個(gè)架構(gòu)中。其核心是思考者-行動(dòng)者雙轉(zhuǎn)換器設(shè)計(jì)：思考者進(jìn)行會(huì)話推理，而行動(dòng)者將其隱藏狀態(tài)轉(zhuǎn)換為同步的流式多模態(tài)響應(yīng)。我們的框架通過分塊擴(kuò)散強(qiáng)制將語言模型擴(kuò)展到視頻模態(tài)，從而平衡了實(shí)時(shí)效率、長程一致性和時(shí)間多模態(tài)同步。大量實(shí)驗(yàn)表明，X-Streamer 是邁向持久、交互和智能的數(shù)字人與世界建模的重要一步。

本文轉(zhuǎn)載自??AIGC Studio???，作者：AIGC Studio