一覺醒來，宇樹帶著最新開源模型來了！

這次開源的是一個世界模型-動作架構，名叫UnifoLM-WMA-0。它的核心之處在于擁有一個世界模型能夠理解機器人和環境相互作用時的物理規律。

咱先瞧瞧真機部署后的表現。

玩堆積木，穩穩當當。重點是，右上角小窗口呈現出世界模型對后續動作視頻的預測，能發現和實際操作情形十分吻合。

兩只機械臂搭檔干活也可以：

像收納文具這類稍精細的活兒，都能輕松拿捏：

將相機放入包裝盒，世界模型的預測同樣和實際操作幾乎無差：

官方稱，UnifoLM-WMA-0屬于UnifoLM（Unitree機器人統一大模型）系列成果，是團隊專為通用機器人學習量身打造的，能適配多種機器人本體。

目前UnifoLM-WMA-0訓練代碼、推理代碼、模型Checkpoints通通開源，GitHub迅速攬獲100+Star。

網友看后紛紛點贊。

如何訓練的？

官方介紹了模型的訓練策略，具體流程和設計思路可以拆解成這幾步來看。

首先，團隊先拿Open-X數據集對視頻生成模型做了針對性微調，核心目的就是讓模型原本的生成能力適配機器人的實際作業場景。

至于微調后模型在測試集上的實際生成效果，是這樣嬸兒的：

團隊進一步提出了基于世界模型打造的策略架構，即UnifoLM-WMA-0。

這個架構里的世界模型不是單一模式運行，而是支持兩種核心功能模式。

一種是決策模式，簡單說就是能提前預測機器人和環境進行物理交互時的關鍵信息，輔助策略更精準地生成下一步動作。

另一種是仿真模式，主要是根據機器人已經做出的動作，生成高度還原真實場景的環境反饋，相當于給機器人模擬出一個逼真的交互環境。

針對這兩種模式，團隊在下游任務數據集上分別做了后訓練優化。

以下是完整的系統架構及工作流程：

團隊用了宇樹科技公開的五個開源數據集，最終完成了全流程訓練。

從測試結果來看，這個模型要是當作仿真引擎來用，效果突出。

只要給它“當前場景的圖像”，再加上一定數量的“機器人未來要做的動作指令”，它就能實現可控的交互生成，生成的內容能精準匹配預期。

生成結果和原視頻的對比情況，大家可以通過下面的圖直觀感受：

面對長程任務的持續交互生成也能應對，生成結果和原視頻的對比如下：

GitHub：https://github.com/unitreerobotics/unifolm-world-model-action/tree/main

項目主頁：https://unigen-x.github.io/unifolm-world-model-action.github.io/