李飛飛：不要數字孿生，要數字表兄弟，一張照片生成機器人訓練場景

作者：機器之心 2024-10-12 12:32:39

人工智能新聞

作為一種全自動管道，ACDC 用于快速生成與單個現實世界 RGB 圖像相對應的完全交互式數字表親場景。

我們很多人都聽說過數字孿生（digital twin），在英偉達等公司的大力推動下，這種高效運營工作流程的方法已經在很多工業場景中得到應用。

但你聽說過數字表親（digital cousin）嗎？

近日，斯坦福大學李飛飛團隊就做出了一個這樣的研究，其可有效地將真實數據變成適用于機器人學習的模擬數據 —— 在降低真實轉模擬成本的同時還能提升學習的泛化性能。

簡單來說，你只需拍一張照片，就能將照片中的物體變成虛擬版本，并且這個數字虛擬版本還不是照片中物體的一比一復刻，而是存在一定的變化。

我們知道，在真實世界中訓練機器人并不安全，而且成本很高，難以大規模擴展。這就是模擬的用武之地，其成本低，并且可以源源不斷地獲取訓練數據。但是，模擬的問題也很明顯，模擬環境和真實環境總歸不一樣，存在含義和物理機制上的差異。

為了解決這種差異，數字孿生的概念誕生了。簡單來說，數字孿生就是為真實場景構建一個虛擬副本，但其成本很高，并且難以實現跨域泛化。

為了解決這些局限，李飛飛團隊提出了數字表親（digital cousin）的概念。不同于數字孿生，數字表親并不是真實物體的虛擬對應，而只是具有相似的幾何和語義特質和屬性。

論文標題：ACDC: Automated Creation of Digital Cousins for Robust Policy Learning
論文鏈接：https://arxiv.org/abs/2410.07408
項目地址：https://digital-cousins.github.io/

如此一來，數字表親既能降低生成相似的虛擬環境的成本，還能通過提供相似訓練場景的分布而實現更好的跨域泛化。基于數字表親，該團隊提出了一種用于自動創建數字表親的全新方法，該方法就叫做自動數字表親創建（Automatic Creation of Digital Cousins），簡稱 ACDC。

他們還提出了一種全自動的「真實→虛擬→真實」流程，可用于生成完全可交互的場景以及訓練可以零樣本方式部署在原始場景中的機器人策略。

結果表明，ACDC 得到的數字表親可以成功保留幾何與語義特質和屬性，同時訓練得到的機器人策略也優于使用數字孿生得到的策略：在零樣本虛擬→真實遷移條件下，能以 90% 的成功率勝過數字孿生的 25%。

方法概述

ACDC 由三個連續步驟構成：

首先，從輸入的 RGB 圖像中提取出每個物體的相關信息。
接下來，基于一個資產數據集，使用該信息來為每個檢測到的輸入物體匹配數字表親。
最后，對選取的數字表親進行后處理，生成一個完全可交互的模擬場景。

實驗

該團隊進行一系列實驗，試圖解答以下研究問題：

問題 1：ACDC 能否得到高質量的數字表親場景？給定一張 RGB 圖像，ACDC 能否捕獲原始場景中固有的高層級語義和空間細節？

問題 2：當在原始設置上進行評估時，基于數字表親訓練得到的策略能否與基于數字孿生得到的策略相媲美？

問題 3：相比于基于數字孿生訓練得到的策略，基于數字表親訓練得到的策略是否更加穩健

問題 4：基于數字表親訓練得到的策略能否實現零樣本「虛擬→真實」策略遷移

通過 ACDC 進行場景重建

在模擬 - 模擬場景中，ACDC 對場景重建進行定量和定性評估。

其中，「Scale」是輸入場景中兩個物體的邊界框之間的最大距離。「Cat.」表示正確分類的物體與場景中物體總數的比例。「Mod.」顯示正確建模的物體與場景中物體總數的比例。「L2 Dist.」提供輸入和重建場景中邊界框中心之間的歐幾里得距離的平均值和標準差。「Ori. Diff.」表示每個中心對稱物體的方向幅度差異的平均值和標準差。「Bbox IoU」表示資產 3D 邊界框的交并比 (IoU)。