歷時2年，華人團隊力作，震撼開源生成式物理引擎Genesis，可模擬世界萬物
這是生成式大模型的時代 —— 它們能生成文本、圖像、音頻、視頻、3D 對象…… 而如果將所有這些組合到一起，我們可能會得到一個世界！
現在，不管是 LeCun 正在探索的世界模型，還是李飛飛想要攻克的空間智能，又或是其他研究團隊提出的其它類似概念，我們都毫無疑問地在離這個世界越來越近。就在幾個小時前，我們向著這個世界又跨出了一步：CMU 聯合其他 20 多所研究實驗室開源發布了一個生成式物理引擎：Genesis，意為「創世紀」。從名字也能看出，這或許真是一個新世界的起點。
據項目貢獻者 CMU 機器人研究所博士生 Zhou Xian 和領導者淦創教授在 X 上分享的內容看，該項目耗費了 2 年多時間，海內外近 20 家機構參與了內部測試。
最終，這個聯合團隊得到的 Genesis 生成式物理引擎可以生成 4D 動態世界，而其基礎是一個用于通用機器人和物理 AI 應用的物理模擬平臺。
- 開源地址：https://github.com/Genesis-Embodied-AI/Genesis
- 項目頁面：https://genesis-embodied-ai.github.io/
- 文檔地址：https://genesis-world.readthedocs.io/en/latest/
目前 Genesis 的技術論文還未發布，但據官方文檔，Genesis 的主要特性包括：
- 安裝毫不費力，API 設計極其簡單且用戶友好。
- 并行模擬的速度前所未有：Genesis 是世界上最快的物理引擎，模擬速度比現有的 GPU 加速的機器人模擬器（Isaac Gym/Sim/Lab、Mujoco MJX 等）快 10 到 80 倍（是的，這有點科幻），同時不會影響模擬準確性和保真度。
- 支持各種 SOTA 物理求解器的統一框架，可建模各種材料和物理現象。
- 具有經過性能優化的照片級真實感的光線追蹤渲染。
- 可微分性：Genesis 在設計時就考慮了與可微分模擬完全兼容。目前，其 MPM 求解器和工具求解器（Tool Solver）都是可微分的，其他求解器的可微分性也將很快添加（會從剛體模擬開始）。
- 物理上精確且可微分的觸覺傳感器。
- 原生支持生成式模擬，允許通過語言提示生成各種模態的數據：交互式場景、任務提議、獎勵、資產、角色動作、策略、軌跡、相機動作、（物理上準確的）視頻等。
此外，Genesis 還支持各種硬件和操作系統。
為了佐證 Genesis 的優越特性，Zhou Xian 在 X 上分享了一個例子：在單臺 RTX4090 上，它的模擬速度比實時速度快大約 430,000 倍，僅需 26 秒就能訓練完成一個可遷移到真實世界的機器人運動策略。
Zhou Xian 表示：「我們的目標是構建一個通用數據引擎，其能利用上層的生成式框架自動創建物理世界，以及各種模式的數據，包括環境、相機運動、機器人任務提議、獎勵函數、機器人策略、角色運動、完全交互式 3D 場景、開放世界鉸接資產等，從而自動生成用于機器人、物理 AI 和其他應用的數據。」
Genesis 一經宣布，就已收獲好評無數。
GitHub 項目 star 數也在短短幾個小時內突破了 1.5k。
Genesis：一個綜合物理模擬平臺
Genesis 是一個綜合物理模擬平臺，專為通用機器人、具身 AI 和物理 AI 應用而設計。它同時具有多種屬性：
- 一個從頭開始重建的通用物理引擎，能夠模擬廣泛的材料和物理現象；
- 一個輕量級的、超快的、Python 化的、用戶友好的機器人仿真平臺；
- 一個強大和快速的逼真照片渲染系統；
- 生成式數據引擎，將用戶提示的自然語言描述轉換為各種數據形式。
Genesis 由重新設計和重新構建的通用物理引擎提供支持，并將各種物理求解器及其耦合集成到一個統一的框架中。此核心物理引擎通過在更高級別運行的生成式智能體架構上得到進一步增強，旨在為機器人技術及其他領域實現全自動數據生成。
淦創教授介紹說：「我們的方法的核心是對人類心智模型進行逆向工程，并構建由生成式物理引擎驅動的機器人大腦！我意識到許多機器人專家對這種方法持懷疑態度，他們指出了設置模擬器和解決模擬-現實差距的困難。他們主張只專注于從現實世界的數據中學習。我理解這些擔憂，但我堅信我們不能只是因為創建一個好模擬器很有挑戰性就繞過它們！」
生成框架旨在自動生成數據，包括以下內容：
- 物理準確且空間一致的視頻；
- 相機運動和參數；
- 人類和動物角色運動；
- 機器人操縱和運動策略，可部署到現實世界；
- 完全交互式 3D 場景；
- 開放世界鉸接式物體生成；
- 語音音頻、面部動畫和情緒。
目前，該研究正在開源底層物理引擎和模擬平臺。在不久的將來，將逐步推出對生成框架的訪問。
Genesis 性能卓越，效果驚艷
作為一個高度優化的物理引擎，Genesis 可以借助 GPU 加速并行運算，在各種場景中提供了前所未有的模擬速度。
在模擬操控（manipulation）場景時，Genesis 以 4300 萬幀 / 秒的速度運行，比實時速度快 43 萬倍。
在大規模模擬中，Genesis 利用「auto-hibernation」來加速處于收斂和靜態實體的模擬。不過這項功能正在測試中，將在 0.1.1 版本中發布。
Genesis 與常用的基于 CPU 和 GPU 的機器人模擬器的速度比較。
Zhou Xian 表示，Genesis 的 GPU 并行化 IK（Inverse kinematics）求解器可以在 2 毫秒內完成 1 萬臺 Franka 機器臂的 IK 求解。
接下來，我們看看具體的示例展示。
生成 4D 動態和物理世界
Genesis 的物理引擎由基于 VLM 的生成式智能體提供支持，該智能體使用模擬基礎設施提供的 API 作為工具來創建 4D 動態世界，然后將其用作提取各種模式數據的基礎數據源。
結合生成相機和物體運動模塊，Genesis 能夠生成物理上精確且視圖一致的視頻和其他形式的數據。
并且，Genesis 還支持模擬各種不同的材料，包括剛體、鉸接體、布料、液體、煙霧、可變形體、薄殼材料、彈性 / 塑性體、機器人肌肉等。
模擬一層巧克力醬，自然不再話下。
絞碎泡沫的質感看起來也非常真實。
星球與太空船的質感也非常高，看起來就像是來自一部大制作的科幻電影。
子彈擊破水球的物理過程就好像真的是來自設備精良的高速攝影。
一壺字母糖，看起來很 Q 彈。
對充氣人偶的模擬也恰到好處，同樣也非常幽默地模擬現實狀況。
角色動作生成
有了如此高質量的物理引擎，對于游戲制作業來說也是好消息，許多復雜的動作和效果都可以通過提示詞來快速生成了：
提示：手持棍棒的迷你版悟空在桌面上飛奔 3 秒，然后跳到空中，落地時右臂向下擺動。鏡頭從他的臉部特寫開始，然后穩定地跟隨角色，同時逐漸縮小。當悟空跳到空中時，在跳躍的最高點，動作暫停幾秒鐘。鏡頭圍繞角色 360 度旋轉，然后緩慢上升，然后繼續動作。
設計動作的時間成本一下子就被打下來了。
機器人策略生成
Genesis 可以利用生成式機器人智能體和物理引擎自動生成不同場景下各種技能的機器人策略和演示數據。這意味著研究人員可以在仿真環境中快速獲得符合物理規律的機器人動作方案，并將其可靠地遷移到實體機器人上。
下面展示了一些不同形態的機器人執行不同任務的示例。
提示：一個移動的 Franka 機械臂使用碗和微波爐做爆米花
提示：宇樹 Go2 四足機器人在雨中奔跑 (Sim)
比如，從提示詞到在仿真環境中的動作策略，再遷移到實體機器人上，可以如此絲滑：
提示：宇樹 H1-2 人形機器人向前行走 (Sim2Real)
做倒立需要精確平衡控制和全身協調，這么高難度的動作，現在也可以通過 Genesis 來實現 Sim2Real：
提示：四足機器人用前兩條腿做倒立 (Sim2Real)
倒立不夠，在 Genesis 的助力下，機器狗還能更快地學會「體操技巧」，穩穩地做兩個直體后空翻：
四足機器人連著后空翻兩次 (Sim2Real)
像拉椅子這樣要和真實世界里的物體交互的動作，也沒問題：
大型欠驅動機器人的運動操作 (Sim2Real)
3D 和完全交互式場景生成
Genesis 的生成框架支持生成 3D 和完全交互的場景，這些場景可用于訓練機器人技能。
家庭室內場景，有客廳（包括用餐區）、衛生間、書房和臥室。
餐廳內部
開放世界鉸接物體生成
Genesis 也能生成具有鉸接結構的物體及其交互過程，例如汽車開關門、打開合上筆記本電腦、折疊金屬刀片。
軟體機器人
Genesis 還是首個為軟肌肉和軟機器人及其與剛性機器人的交互提供全面支持的平臺。Genesis 還附帶類似 URDF 的軟機器人配置系統。官方還提供了一個相關教程：https://genesis-world.readthedocs.io/en/latest/user_guide/getting_started/soft_robots.html
Genesis 也能模擬帶有軟皮膚和剛性骨骼的混合機器人。
語音音頻，面部表情和情緒生成
音頻以及面部表情也是 Genesis 想要整合的模態，下面展示了兩個示例：
人物情緒從中性轉變為憤怒，然后再轉變為快樂。
Genesis 將情緒的轉變泛化到不同的面部
結語
最后，Zhou Xian 展示了一個用 Genesis 打造的俄羅斯方塊游戲，其中的方塊是果凍材質的，并且能以符合現實的物理規律運動。
我們以前可能也刷到過類似的視頻，但那些是視頻特效師們精心制作的結果，而現在 Genesis 已經可以一鍵導出，并進一步轉化為真實可實現的技術突破。
淦創教授在 X 上分享了自己參與這個項目的經歷：「自 2018 年以來，我決定將自己的研究重點從視覺轉向具身 AI，因為我著迷于創建能夠與物理世界和其他具有類似人類靈活性的智能存在交互的通用智能體——我們將這個領域稱為具身 AGI（embodied AGI）。」
他還寫到：「說實話，有時候我覺得這個模擬器可能太先進了，不能發布，但我們相信讓它完全開源并圍繞我們的使命建立一個強大的社區是至關重要的！請加入 Genesis 社區！我們希望讓機器人學研究社區相信『Generative Physics Simulator is all You Need!』」」
不得不說，還真是讓人非常期待 Genesis 的實際應用呢！
