首次！世界模型、動作模型融合，全自回歸模型WorldVLA來了

2025-07-04 09:07:00

阿里巴巴達摩院提出了 WorldVLA, 首次將世界模型 (World Model) 和動作模型 (Action Model/VLA Model) 融合到了一個模型中。

岑俊，阿里巴巴達摩院具身智能大模型算法研究員，博士畢業于香港科技大學。研究方向主要是：具身智能 VLA 模型，世界模型。

阿里巴巴達摩院提出了 WorldVLA, 首次將世界模型 (World Model) 和動作模型 (Action Model/VLA Model) 融合到了一個模型中。WorldVLA 是一個統一了文本、圖片、動作理解和生成的全自回歸模型。

論文標題：WorldVLA: Towards Autoregressive Action World Model
論文地址：https://arxiv.org/pdf/2506.21539
代碼地址：https://github.com/alibaba-damo-academy/WorldVLA

研究簡介

近年來，視覺 - 語言 - 動作（Vision-Language-Action, VLA）模型的發展成為機器人動作建模研究的重要方向。這類模型通常是在大規模預訓練的多模態大語言模型（Multimodal Large Language Models, MLLMs）基礎上，添加一個動作輸出頭或專門的動作模塊，以實現對動作的生成。MLLMs 在感知和決策方面表現出色，使得 VLA 模型在多種機器人任務中展現出良好的泛化能力。然而，這些模型存在一個顯著的局限性：它們往往缺乏對動作本身的深入理解。在現有方法中，動作只是作為輸出結果處理，并未被當作輸入進行分析和建模。相比之下，世界模型（World Models）能夠基于當前觀測與動作預測未來的視覺狀態，從而同時理解視覺信息和行為動態。盡管具備這一優勢，世界模型卻無法直接生成動作輸出，這導致其在需要顯式動作規劃的應用場景中存在功能上的空白。

為了解決 VLA 模型與世界模型各自的局限，我們提出 WorldVLA —— 一種基于自回歸機制的統一動作與圖像理解與生成模型。如下圖所示，WorldVLA 使用三個獨立的編碼器分別處理圖像、文本和動作數據。不同模態的 token 被設計為共享相同的詞表，從而使得在同一個語言模型架構下可以統一完成跨模態的理解與生成任務。

其中，世界模型部分通過輸入動作來生成對應的視覺表示，從而學習環境中的物理動態規律。這種對動作的解讀與物理世界的建模對于動作模型的決策至關重要。與此同時，嵌入在 WorldVLA 中的動作模型也反過來增強了對視覺信息的理解，進一步提升世界模型在圖像生成方面的準確性。這種雙向增強機制使整個系統在理解和生成圖像與動作方面更加魯棒和全面。

此外，已有研究表明，動作分塊（action chunking）和并行解碼技術對動作模型的性能有顯著影響。然而，我們在實驗中發現，在自回歸模型中連續生成多個動作時會導致性能下降。主要原因在于，預訓練的多模態語言模型主要接觸的是圖像和文本，而對動作的學習較少，因此在動作生成任務中泛化能力有限。而在自回歸模型中，后續動作的生成依賴于前面的預測結果，一旦出現錯誤，便會隨時間不斷傳播放大。為了解決這一問題，我們提出了一種動作注意力掩碼策略（action attention masking strategy），在生成當前動作時選擇性地屏蔽掉之前的動作信息。這種方法有效緩解了錯誤累積的問題，在動作分塊生成任務中帶來了顯著的性能提升。

在 LIBERO 基準測試中，我們的 WorldVLA 相比使用相同主干網絡的傳統動作模型，在抓取成功率上提升了 4%。相較于傳統的世界模型，WorldVLA 在視頻生成質量上表現更優，FVD（Fréchet Video Distance）指標降低了 10%。這些結果充分說明，將世界模型與動作模型融合所帶來的協同增益，驗證了圖像與動作統一理解與生成框架的優勢。在動作分塊生成任務中，傳統自回歸方式會導致抓取成功率下降 10% 到 50%。但引入我們的注意力掩碼策略后，性能下降得到了明顯緩解，抓取成功率提升了 4% 到 23%。

研究方法

VLA 模型可以根據圖像理解生成動作；世界模型可以根據當前圖像和動作生成下一幀圖像；WorldVLA 將將兩者融合，實現圖像與動作的雙向理解和生成，如下圖所示。

WorldVLA 使用獨立的編碼器分別處理圖像、文本和動作，并讓這些模態共享同一個詞匯表，從而在單一的大語言模型架構下實現跨模態的統一建模。這種設計不僅提升了動作生成的準確性，也增強了圖像預測的質量。WorldVLA 使用 Action Model 數據和 World Model 數據來訓練模型。Action Model 是根據圖片輸入和文本指令輸入來輸出動作，數據格式如下：

World Model 根據當前幀圖片和動作來生成下一幀圖片，數據格式如下：

在一次性輸出多個 action 時，使用默認的自回歸范式會使得效果變差。原因是動作模態并不在原本多模態大模型的預訓練中，因此泛化能力較差，這樣生成多個動作時就會有誤差累積的問題。為了解決這個問題，WorldVLA 提出了一種 attention mask 策略，使得生成動作時只能看見前面的圖片而不能看見前面的動作，從而解決動作累計誤差問題，如下圖所示。

實驗結果

在 LIBERO benchmark 上的實驗結果如下圖所示，在沒有預訓練的情況下超越了需要預訓練的全自回歸模型 OpenVLA。

下圖為 action model 的消融實驗結果。對比 row2 和 row1 以及 row5 和 row4 可以看出，world model 的加入可以給 action model 帶來更好的結果。Row3 可以看出，使用默認的 attention mask 會導致某些任務的成功率下降，但是從 row4 看出，我們提出的 attention mask 可以全面大幅提升任務的成功率。