19款模型大PK！李飛飛團(tuán)隊(duì)發(fā)布首個(gè)世界生成基準(zhǔn)WorldScore：曝出世界生成三大致命傷
文章鏈接：https://arxiv.org/pdf/2504.00983
開(kāi)源地址：https://haoyi-duan.github.io/WorldScore/
亮點(diǎn)直擊
- 提出了首個(gè)世界生成基準(zhǔn)WorldScore，支持對(duì)3D、4D、圖像到視頻（I2V）和文本到視頻（T2V）等多種方法進(jìn)行統(tǒng)一評(píng)估。
- 為基準(zhǔn)測(cè)試精心構(gòu)建了一個(gè)高質(zhì)量、多樣化的數(shù)據(jù)集，涵蓋不同類(lèi)別的靜態(tài)與動(dòng)態(tài)場(chǎng)景，并包含多種視覺(jué)風(fēng)格。
- 提出了WorldScore 評(píng)估指標(biāo)，綜合衡量世界生成模型的關(guān)鍵性能，包括可控性、質(zhì)量和動(dòng)態(tài)性。
- 通過(guò)對(duì)17 個(gè)開(kāi)源模型和2 個(gè)閉源模型的全面評(píng)估，揭示了當(dāng)前世界生成方法的關(guān)鍵洞見(jiàn)與挑戰(zhàn)，為未來(lái)研究提供了寶貴指導(dǎo)。
風(fēng)格化圖像示例：預(yù)定義的風(fēng)格集合包含7種不同的視覺(jué)藝術(shù)風(fēng)格
當(dāng)現(xiàn)有視頻評(píng)估基準(zhǔn)（如VBench）基于單場(chǎng)景視頻質(zhì)量對(duì)模型A和B給出相似評(píng)分時(shí)，WorldScore基準(zhǔn)通過(guò)識(shí)別模型B在生成新場(chǎng)景和執(zhí)行指定攝像機(jī)運(yùn)動(dòng)方面的失敗，有效區(qū)分了兩者的世界生成能力
總結(jié)速覽
解決的問(wèn)題
- 缺乏統(tǒng)一評(píng)估標(biāo)準(zhǔn)：現(xiàn)有基準(zhǔn)主要針對(duì)視頻生成或單場(chǎng)景生成，缺乏對(duì)大規(guī)模、多樣化世界生成的系統(tǒng)性評(píng)估。
- 控制能力不足：現(xiàn)有方法難以滿(mǎn)足用戶(hù)對(duì)多場(chǎng)景無(wú)縫集成和精確空間布局控制的需求。
- 兼容性局限：現(xiàn)有基準(zhǔn)無(wú)法兼容3D/4D場(chǎng)景生成方法所需的相機(jī)軌跡和參考圖像輸入。
提出的方案
- WorldScore 基準(zhǔn)：首個(gè)統(tǒng)一的世界生成評(píng)估框架，將世界生成分解為一系列“下一場(chǎng)景生成”任務(wù)，每個(gè)任務(wù)包含三元組（當(dāng)前場(chǎng)景、下一場(chǎng)景、布局）。
- 多樣化數(shù)據(jù)集：涵蓋靜態(tài)與動(dòng)態(tài)世界、室內(nèi)與室外場(chǎng)景、寫(xiě)實(shí)與風(fēng)格化視覺(jué)域，共3000個(gè)高質(zhì)量測(cè)試樣本。
- 多維度評(píng)估指標(biāo)（WorldScore）：
- 可控性（Controllability）：生成結(jié)果對(duì)輸入控制（如相機(jī)軌跡、文本描述）的遵循程度。
- 質(zhì)量（Quality）：生成內(nèi)容的逼真性和一致性。
- 動(dòng)態(tài)性（Dynamics）：運(yùn)動(dòng)的準(zhǔn)確性和穩(wěn)定性。
應(yīng)用的技術(shù)
- 任務(wù)分解：通過(guò)“下一場(chǎng)景生成”任務(wù)統(tǒng)一評(píng)估3D/4D場(chǎng)景生成、文本/圖像到視頻生成等多種方法。
- 統(tǒng)一輸出格式：將所有模型的輸出轉(zhuǎn)換為視頻格式，實(shí)現(xiàn)跨方法直接對(duì)比。
- 多模態(tài)輸入支持：同時(shí)提供圖像+文本描述作為當(dāng)前場(chǎng)景輸入，以及相機(jī)矩陣+文本描述作為布局輸入，兼容不同模型需求。
達(dá)到的效果
- 全面評(píng)估：對(duì)19個(gè)代表性模型（開(kāi)源/閉源）進(jìn)行測(cè)試，涵蓋圖像到視頻（5個(gè)）、文本到視頻（7個(gè)）、3D場(chǎng)景生成（6個(gè)）和4D生成（1個(gè)）四大類(lèi)。
- 關(guān)鍵洞見(jiàn)：揭示每類(lèi)模型在世界生成中的優(yōu)勢(shì)與挑戰(zhàn)，例如：
- 視頻生成模型在動(dòng)態(tài)性上表現(xiàn)較好，但可控性不足；
- 3D/4D生成模型在布局控制上更優(yōu)，但動(dòng)態(tài)場(chǎng)景生成能力有限。
- 推動(dòng)領(lǐng)域發(fā)展：為世界生成任務(wù)提供標(biāo)準(zhǔn)化評(píng)估框架，促進(jìn)多模態(tài)生成技術(shù)的融合與改進(jìn)。
WorldScore 基準(zhǔn)測(cè)試
設(shè)計(jì)概述
目標(biāo)是建立一個(gè)統(tǒng)一不同方法論的世界生成評(píng)估基準(zhǔn)。WorldScore 基準(zhǔn)包含三個(gè)關(guān)鍵組成部分：
- 標(biāo)準(zhǔn)化的世界規(guī)范；
- 精心策劃的數(shù)據(jù)集；
- 多維度的評(píng)估指標(biāo)。
整體框架如下圖2所示。將世界生成任務(wù)分解為一系列下一場(chǎng)景生成任務(wù)，其中每一步由一個(gè)包含空間布局和語(yǔ)義內(nèi)容的世界規(guī)范定義（圖2左上角）。該世界規(guī)范使得我們能夠指導(dǎo)從3D/4D場(chǎng)景生成到視頻生成等不同類(lèi)型的模型。生成的輸出結(jié)果統(tǒng)一以視頻形式呈現(xiàn)（圖2右下角），并通過(guò)WorldScore指標(biāo)（圖2右上角）評(píng)估三個(gè)關(guān)鍵方面：可控性、質(zhì)量和動(dòng)態(tài)性。這種統(tǒng)一的評(píng)估方法確保了不同方法論范式之間的公平比較。
世界規(guī)范
靜態(tài)與動(dòng)態(tài)世界
由于動(dòng)態(tài)特性與可控性、質(zhì)量評(píng)估的本質(zhì)差異，我們明確將動(dòng)態(tài)評(píng)估與其他兩方面解耦。為此定義兩類(lèi)任務(wù)：
- 靜態(tài)世界生成：要求模型生成可變長(zhǎng)度的場(chǎng)景序列以評(píng)估可控性和質(zhì)量。此時(shí)下一場(chǎng)景文本描述N指向新場(chǎng)景內(nèi)容，布局L描述大幅相機(jī)運(yùn)動(dòng)。
- 動(dòng)態(tài)世界生成：要求模型生成場(chǎng)景內(nèi)運(yùn)動(dòng)以評(píng)估動(dòng)態(tài)性。此時(shí)N描述與當(dāng)前場(chǎng)景C相同內(nèi)容但含動(dòng)態(tài)變化（如動(dòng)物移動(dòng)），布局L明確指定固定相機(jī)位姿且無(wú)相機(jī)運(yùn)動(dòng)。
數(shù)據(jù)集構(gòu)建
數(shù)據(jù)集包含3000個(gè)世界規(guī)范樣本（2000靜態(tài)/1000動(dòng)態(tài)），詳細(xì)統(tǒng)計(jì)見(jiàn)表S4。
當(dāng)前場(chǎng)景C的構(gòu)建
- 靜態(tài)世界：定義10類(lèi)場(chǎng)景（5室內(nèi)/5室外），從開(kāi)源數(shù)據(jù)集[8,38,42,57,62,67,69,74,98]和Unsplash采集圖像，經(jīng)嚴(yán)格篩選獲得約5000張照片級(jí)圖像（真實(shí)照片或物理渲染圖）。通過(guò)視覺(jué)語(yǔ)言模型GPT-4o生成描述 并進(jìn)行10分類(lèi)，每類(lèi)保留前100張高質(zhì)量圖像，最終獲得1000組 。
- 風(fēng)格化擴(kuò)展：為每組真實(shí)風(fēng)格樣本隨機(jī)選擇7種風(fēng)格之一，通過(guò)風(fēng)格控制文本到圖像模型[55]生成對(duì)應(yīng)風(fēng)格化圖像 （示例見(jiàn)圖3前兩行）。
- 動(dòng)態(tài)世界：定義5類(lèi)運(yùn)動(dòng)類(lèi)型，從Unsplash手動(dòng)篩選每類(lèi)100張圖像，采用相同流程生成描述及風(fēng)格化版本，最終1000組樣本（示例見(jiàn)圖3末行）。
下一場(chǎng)景文本描述 的構(gòu)建
每個(gè)世界生成任務(wù)包含連續(xù)的下一場(chǎng)景生成步驟，N分為兩種情形：
- 小世界：N僅含1個(gè)新場(chǎng)景
- 大世界： N含3個(gè)新場(chǎng)景
為保證場(chǎng)景序列的連貫性，采用自回歸式描述生成方法[90]：指導(dǎo)大語(yǔ)言模型生成與當(dāng)前所有場(chǎng)景描述不同的下一場(chǎng)景文本。例如對(duì)小世界任務(wù)，模型需生成與當(dāng)前場(chǎng)景P語(yǔ)義不同但合理的后續(xù)描述（如從"客廳"切換到"廚房"）。
布局L的構(gòu)建
- 覆蓋所有空間方向
- 適配文本到視頻模型——因多數(shù)模型基于含此類(lèi)運(yùn)動(dòng)描述的電影片段訓(xùn)練
這些運(yùn)動(dòng)既包含場(chǎng)景內(nèi)運(yùn)動(dòng)（如鏡頭推進(jìn)），也包含場(chǎng)景間轉(zhuǎn)場(chǎng)（如鏡頭拉出）。每個(gè)靜態(tài)場(chǎng)景生成樣本隨機(jī)分配一個(gè)布局 L（示例見(jiàn)圖5右）。若分配布局為場(chǎng)景內(nèi)運(yùn)動(dòng)，則將N替換為P 。
WorldScore評(píng)估指標(biāo)
WorldScore包含兩個(gè)綜合得分：
- WorldScore-Static：僅評(píng)估靜態(tài)世界生成能力
- WorldScore-Dynamic：額外評(píng)估動(dòng)態(tài)世界生成能力
二者均通過(guò)三大關(guān)鍵維度的子指標(biāo)聚合而成：
可控性
包含三項(xiàng)指標(biāo)：
物體控制準(zhǔn)確率
使用開(kāi)集目標(biāo)檢測(cè)模型[44]檢測(cè)下一場(chǎng)景描述N中指定的物體是否出現(xiàn)：
- 從N提取1-2個(gè)物體描述
- 計(jì)算檢測(cè)結(jié)果與描述的匹配成功率
內(nèi)容對(duì)齊度
采用CLIPScore評(píng)估生成場(chǎng)景與整個(gè)文本描述N的語(yǔ)義對(duì)齊程度（物體描述通常僅占文本長(zhǎng)度的1/4）。
質(zhì)量指標(biāo)
3D一致性靜態(tài)世界視頻的幾何穩(wěn)定性評(píng)估：
- 使用DROID-SLAM逐幀估計(jì)稠密深度
- 計(jì)算連續(xù)幀共視像素的重投影誤差（示例見(jiàn)圖6）
典型示例如下： 頂部：3D一致性右側(cè)。不良示例出現(xiàn)幾何形狀突變，而非平滑過(guò)渡。中部：光度一致性。不良示例中山地草場(chǎng)的紋理發(fā)生嚴(yán)重偏移。底部：運(yùn)動(dòng)準(zhǔn)確性。優(yōu)秀示例中章魚(yú)運(yùn)動(dòng)而水母保持靜止（左），右側(cè)不良示例則出現(xiàn)水母移動(dòng)而章魚(yú)靜止的情況。
光度一致性
檢測(cè)外觀（如紋理）的穩(wěn)定性：
- 計(jì)算連續(xù)幀光流的平均端點(diǎn)誤差（AEPE）
- 有效識(shí)別紋理閃爍等問(wèn)題（圖6中排山脈的草紋理偏移）
風(fēng)格一致性
通過(guò)Gram矩陣比較單次場(chǎng)景生成任務(wù)首尾幀的F-范數(shù)差異。
主觀質(zhì)量
結(jié)合CLIP-IQA+與CLIP審美評(píng)分的混合指標(biāo)，經(jīng)200人實(shí)驗(yàn)驗(yàn)證其與人類(lèi)偏好最佳匹配。
動(dòng)態(tài)性指標(biāo)
運(yùn)動(dòng)準(zhǔn)確性
量化指定區(qū)域運(yùn)動(dòng)的精確性：
- 對(duì)比目標(biāo)區(qū)域（如汽車(chē)）與非目標(biāo)區(qū)域（如行人）的光流差異
- 消除非預(yù)期相機(jī)運(yùn)動(dòng)帶來(lái)的全局光流干擾（圖6末行示例）
運(yùn)動(dòng)幅度
通過(guò)連續(xù)幀光流估計(jì)模型生成大幅運(yùn)動(dòng)的能力。
運(yùn)動(dòng)平滑度
利用視頻插幀模型[93]生成平滑基準(zhǔn)，評(píng)估生成視頻 的時(shí)間連續(xù)性。
分?jǐn)?shù)歸一化與聚合
- 各指標(biāo)線(xiàn)性歸一化至[0,1]區(qū)間后乘以100
- WorldScore-Static：可控性與質(zhì)量維度得分的算術(shù)平均
- WorldScore-Dynamic：額外加入動(dòng)態(tài)性三個(gè)維度得分
- 不支持動(dòng)態(tài)任務(wù)的3D生成模型，動(dòng)態(tài)指標(biāo)強(qiáng)制賦0
實(shí)驗(yàn)結(jié)果
評(píng)估模型
在WorldScore基準(zhǔn)測(cè)試中評(píng)估了19個(gè)世界生成模型，包括：
- 12個(gè)視頻生成模型：
- 2個(gè)領(lǐng)先閉源I2V模型：Gen-3、Hailuo
- 6個(gè)開(kāi)源I2V模型：DynamiCrafter、VideoCrafter1/2、EasyAnimate、CogVideoX-I2V 、Allegro
- 4個(gè)開(kāi)源T2V模型：VideoCrafter1-T2V、T2v-Turbo、Vchitect-2.0、CogVideoX-T2V
- 6個(gè)3D場(chǎng)景生成模型：SceneScape、Text2Room、LucidDreamer、WonderJourney、InvisibleStitch、WonderWorld
- 1個(gè)4D生成模型：4D-fy （完整模型細(xì)節(jié)見(jiàn)下表S1）
關(guān)鍵發(fā)現(xiàn)與挑戰(zhàn)
表2的基準(zhǔn)測(cè)試結(jié)果揭示了以下結(jié)論：
3D模型在靜態(tài)世界生成中占優(yōu)
- WorldScore-Static前三名均為3D模型：WonderWorld（72.69）、LucidDreamer（70.40），顯著優(yōu)于最佳視頻模型CogVideoX-T2V（62.15）。
- 優(yōu)勢(shì)來(lái)源：3D模型天生具備更高的相機(jī)控制精度（通過(guò)顯式3D表征）和內(nèi)容對(duì)齊能力（可生成更大空間），以及優(yōu)異的3D與光度一致性。
- 局限性：無(wú)法生成動(dòng)態(tài)世界，擴(kuò)展至4D的4D-fy表現(xiàn)欠佳（動(dòng)態(tài)生成本身難度較高）。
視頻模型的相機(jī)控制短板
- 最佳視頻模型CogVideoX-T2V的相機(jī)控制得分（40.22）仍遠(yuǎn)低于任何3D/4D模型。
- 改進(jìn)方向：近期相機(jī)條件注入方法[20,81]可能提供解決方案。
開(kāi)源視頻模型媲美閉源模型
- CogVideoX-I2V在WorldScore-Static（62.15）和WorldScore-Dynamic（59.12）上均超過(guò)閉源模型Gen-3與Hailuo。
- 細(xì)節(jié)差異：CogVideoX-I2V相機(jī)控制更強(qiáng)，但物體控制與內(nèi)容對(duì)齊稍弱。
運(yùn)動(dòng)幅度與平滑度的權(quán)衡
- 運(yùn)動(dòng)幅度大的模型（如Allegro）往往伴隨更低的運(yùn)動(dòng)平滑度，反映當(dāng)前視頻模型難以兼顧大幅運(yùn)動(dòng)與自然過(guò)渡。
運(yùn)動(dòng)幅度≠運(yùn)動(dòng)準(zhǔn)確性
- 運(yùn)動(dòng)幅度與準(zhǔn)確性相關(guān)性弱（R<0.3），表明大運(yùn)動(dòng)模型可能產(chǎn)生非指令要求的相機(jī)運(yùn)動(dòng)或無(wú)關(guān)物體運(yùn)動(dòng)。
視頻模型的場(chǎng)景局限性
- 長(zhǎng)序列生成：視頻模型在"大世界"任務(wù)（多場(chǎng)景序列）中表現(xiàn)顯著下降（圖7）。
- 室外場(chǎng)景：視頻模型與3D模型的性能差距在室外場(chǎng)景中更大（室內(nèi)場(chǎng)景差距較小）。
T2V vs I2V的控制差異
- T2V模型：更易控制（可控性得分高+運(yùn)動(dòng)幅度大），但傾向于生成更大相機(jī)運(yùn)動(dòng)。
- I2V模型：質(zhì)量得分更高，但受輸入圖像視角限制，生成新場(chǎng)景內(nèi)容的能力較弱。
結(jié)論
總之，WorldScore基準(zhǔn)測(cè)試揭示了當(dāng)前各類(lèi)世界生成方法的局限性。對(duì)于3D場(chǎng)景生成模型，雖然它們?cè)陟o態(tài)世界生成方面表現(xiàn)出色，但將其擴(kuò)展到4D表征并融入動(dòng)態(tài)性仍然具有挑戰(zhàn)性。對(duì)于視頻生成模型，主要挑戰(zhàn)包括可控性、長(zhǎng)序列生成以及室外場(chǎng)景的生成。這些發(fā)現(xiàn)為未來(lái)研究指明了清晰方向：彌合3D與4D表征之間的差距、開(kāi)發(fā)更魯棒的可控性機(jī)制、以及設(shè)計(jì)能夠處理長(zhǎng)場(chǎng)景序列的架構(gòu)。我們相信WorldScore基準(zhǔn)將成為衡量這些方向進(jìn)展的有價(jià)值工具，最終推動(dòng)該領(lǐng)域發(fā)展出更強(qiáng)大、更通用的世界生成系統(tǒng)。
本文轉(zhuǎn)自AI生成未來(lái) ，作者：AI生成未來(lái)
