第一作者李文軒目前就讀于國防科技大學計算機學院，碩士二年級，導師為徐凱教授，研究方向包括世界模型、可微物理仿真等。共同第一作者趙航，現(xiàn)為武漢大學計算機學院博士后，博士期間導師為徐凱教授，研究方向為工業(yè)具身智能。本文通信作者為深圳大學胡瑞珍教授與國防科技大學徐凱教授。

在機器人操作中，物體運動往往涉及摩擦、碰撞等復雜物理機制。準確的物理屬性描述可以實現(xiàn)對物體運動結果更準確的預測，并提升機器人在操作技能學習中的表現(xiàn)。

然而，一般用于訓練機器人操作策略的仿真交互環(huán)境，其物理屬性與真實環(huán)境往往存在明顯差異且難以校準，機器人控制策略的虛擬到現(xiàn)實遷移（Sim2Real）一直是困擾社區(qū)的問題。

為解決上述問題，國防科大、深圳大學、武漢大學團隊提出 PIN-WM（Physics-INformed World Models）——一種物理驅動的世界模型。

• 論文標題：PIN-WM: Learning Physics-INformed World Models for Non-Prehensile Manipulation
• 論文地址：https://arxiv.org/abs/2504.16693
• 項目主頁：https://pinwm.github.io

基于可微物理和可微渲染，PIN-WM 以真實世界運動結果為監(jiān)督信號，可以從視覺觀測中直接辨識剛體物理屬性。由于可微物理提供了物理系統(tǒng)的動力學基礎描述和有效的梯度引導，PIN-WM 僅需少量且任務無關的交互軌跡進行學習，隨后可以基于未見「狀態(tài)-動作對」實現(xiàn)對下一時刻狀態(tài)的良好泛化估計。

進一步，團隊提出物理感知的數(shù)字表親 PADC（Physics-Aware Digital Cousins），在辨識參數(shù)附近局部擾動，生成具有近似且多樣視覺和物理特性的世界模型變體，以建模未被觀測的潛在偏差，進一步提高策略學習的魯棒性。

基于 PIN-WM 和 PADC，團隊在世界模型中訓練非抓取式操作技能，無需策略微調即可直接實現(xiàn)操作技能的 Sim2Real 遷移。

論文創(chuàng)新點

• 一種物理驅動的世界模型：使用可微仿真和可微渲染技術從視覺觀測中直接辨識剛體的物理參數(shù)。
• 一種物理感知的數(shù)字表親：在辨識參數(shù)附近進行小范圍擾動，生成多組具有近似且多樣視覺和物理特性的世界模型變體，以應對未建模誤差，提升策略在真實環(huán)境中的魯棒性。

圖 1：PIN-WM 僅需少量任務無關交互軌跡辨識物理屬性，以支持機器人操作技能學習與 Sim2Real 遷移

技術路線

該團隊提出一種從現(xiàn)實到虛擬再到現(xiàn)實的框架，以學習非抓取操作相關的技能策略。該框架可分為兩大階段：系統(tǒng)辨識和策略訓練。

• 從現(xiàn)實到仿真（Real2Sim）：系統(tǒng)辨識

• 渲染屬性估計：收集物體的多視角圖片，并計算 Rendering loss，然后使用 2DGS 對其渲染參數(shù)進行優(yōu)化。 
• 物理屬性估計：收集機器人與物體的交互視頻，同樣基于 Rendering loss，使用 2DGS 和可微 LCP 傳播梯度，從而對物理參數(shù)進行優(yōu)化（此時固定渲染參數(shù)）。

• 從仿真到現(xiàn)實（Sim2Real）：策略訓練與部署 

• 結合數(shù)字表親學習策略：在辨識參數(shù)附近進行小范圍擾動，生成多組具有視覺和物理特性差異的世界模型變體，并在此基礎上訓練策略。
• 策略部署：將世界模型中學習到的策略部署到真實場景中，完成虛擬到現(xiàn)實遷移。

圖 2：Real2Sim2Real 框架用于學習非抓取操作策略

實驗結果

「推」（Push）和「翻轉」（Flip）作為經典的非抓取式任務，對摩擦、碰撞等復雜物理機制非常敏感。PIN-WM 在這兩項代表性任務上進行實驗評估：「推」指通過推的方式將平面上的物體移動到目標姿態(tài)，「翻轉」指通過戳的方式將物體翻轉（圖 3）。通過統(tǒng)計各方法在兩項任務中的成功率及完成步數(shù)，對其性能進行對比評估。

圖 3：仿真場景中「推」和「翻轉」任務軌跡

在仿真實驗方面，PIN-WM 分別與數(shù)據(jù)驅動的方法、預設物理參數(shù)的方法和辨識物理參數(shù)的方法進行對比。團隊在更具挑戰(zhàn)性的低摩擦場景下學習世界模型以及機器人操作策略，物理參數(shù)估計誤差造成的機器人操作失準會在低摩擦的場景下被進一步放大，導致任務失敗。

實驗結果說明：數(shù)據(jù)驅動方法（Dreamer，Diffusion Policy）在已使用更多交互數(shù)據(jù)的情況下泛化能力依然不足，策略測試性能欠佳；預設物理參數(shù)方法（RoboGSim、Domain Randomization）底層動力學與真實物理有明顯差異，而其他辨識物理參數(shù)的方法依賴簡化的物理模型（2D Physics）或者缺少梯度引導（ASID），動力學的擬合效果相對較差，失準的動力學建模導致策略表現(xiàn)依然欠佳；在可微物理梯度引導下，PIN-WM 能夠實現(xiàn)更準確的物理參數(shù)辨識，在「推」和「翻轉」兩項非抓取式操作任務上的策略表現(xiàn)均明顯優(yōu)于其他方法（表 1）。

表 1：仿真場景中的非抓取策略性能對比

在真機實驗方面，PIN-WM 同樣與上述主要基線對比，在真實場景「推」和「翻轉」兩項任務上的性能優(yōu)勢得到驗證（表 2）。

表 2：真實場景中的非抓取策略性能對比

圖 4 展示了真實場景中不同方法執(zhí)行「推」任務時的軌跡對比圖。

圖 4：真實場景中不同方法執(zhí)行「推」任務時的軌跡對比

圖 5 展示了真實場景中不同方法執(zhí)行「翻轉」任務時的軌跡對比圖。

圖 5：真實場景中不同方法執(zhí)行「翻轉」任務時的軌跡對比

PIN-WM 執(zhí)行系統(tǒng)辨識后，在光滑玻璃平面上「推」T 形物體的測試結果，機器人可以準確地將物體推入目標位置。

未執(zhí)行系統(tǒng)辨識時，策略在光滑玻璃平面上「推」T 形物體，機器人在目標位置反復嘗試，始終無法將物體正確推入目標位置。

PIN-WM 執(zhí)行系統(tǒng)辨識后，在光滑玻璃平面上「推」正方體的測試結果。正方體的質量和體積更小，機器人操作更加困難，而 PIN-WM 訓練出的策略能夠準確完成任務。

未執(zhí)行系統(tǒng)辨識時，策略在光滑玻璃平面上「推」正方體，無法將正方體正確推入目標位置。

PIN-WM 執(zhí)行系統(tǒng)辨識后，在粗糙平面上「戳」正方體使其翻轉。

未執(zhí)行系統(tǒng)辨識時，在粗糙平面上「戳」正方體，正方體輕微抬升，卻始終無法有效翻轉。

PIN-WM 執(zhí)行系統(tǒng)辨識后，在粗糙平面上「推」任務的測試結果（軌跡 1）。

PIN-WM 執(zhí)行系統(tǒng)辨識后，在粗糙平面上「推」任務的測試結果（軌跡 2）。

在更大尺寸物體上驗證 PIN-WM 的有效性，執(zhí)行系統(tǒng)辨識后，在粗糙平面上「推」T 形物體的測試結果（軌跡 1）。

PIN-WM 執(zhí)行系統(tǒng)辨識后，在粗糙平面上「推」更大尺寸 T 形物體的測試結果（軌跡 2）。

總結

國防科大、深圳大學、武漢大學團隊提出了一種物理驅動的世界模型 PIN-WM（Physics-INformed World Models），可以從視覺觀測（少量且任務無關的交互軌跡）中辨識剛體的物理屬性。

同時，團隊提出具備物理感知的數(shù)字表親 PADC（Physics-Aware Digital Cousins），在辨識參數(shù)附近進行局部擾動以建模潛在的偏差，從而進一步提高虛擬到現(xiàn)實的遷移性能。團隊通過廣泛的實驗證明了 PIN-WM 的有效性，其提出的方法有效提升了非抓握式操作技能從仿真到現(xiàn)實遷移的性能。