隨著 GPT-4 等大型語言模型與機器人研究的結合愈發緊密，人工智能正在越來越多地走向現實世界，因此具身智能相關的研究也正受到越來越多的關注。在眾多研究項目中，谷歌的「RT」系列機器人始終走在前沿（參見《大模型正在重構機器人，谷歌 Deepmind 這樣定義具身智能的未來》）。

谷歌 DeepMind 去年 7 月推出的 RT-2：全球第一個控制機器人的視覺 - 語言 - 動作（VLA）模型。只需要像對話一樣下達命令，它就能在一堆圖片中辨認出霉霉，并送給她一罐可樂。

如今，這個機器人又進化了。最新版的 RT 機器人名叫「RT-H」，它能通過將復雜任務分解成簡單的語言指令，再將這些指令轉化為機器人行動，來提高任務執行的準確性和學習效率。舉例來說，給定一項任務，如「蓋上開心果罐的蓋子」和場景圖像，RT-H 會利用視覺語言模型（VLM）預測語言動作（motion），如「向前移動手臂」和「向右旋轉手臂」，然后根據這些語言動作，預測機器人的行動（action）。

這個行動層級（action hierarchy）對于提高機器人完成任務的準確性和學習效率非常有幫助，使得 RT-H 在一系列機器人任務中的表現都優于 RT-2。

以下是論文的詳細信息。

論文概覽

• 論文標題：RT-H: Action Hierarchies Using Language
• 論文鏈接：https://arxiv.org/pdf/2403.01823.pdf
• 項目鏈接：https://rt-hierarchy.github.io/

語言是人類推理的引擎，它使我們能夠將復雜概念分解為更簡單的組成部分，糾正我們的誤解，并在新環境中推廣概念。近年來，機器人也開始利用語言高效、組合式的結構來分解高層次概念、提供語言修正或實現在新環境下的泛化。

這些研究通常遵循一個共同的范式：面對一個用語言描述的高層任務（如「拿起可樂罐」），它們學習將觀察和語言中的任務描述映射到低層次機器人行動的策略，這需要通過大規模多任務數據集實現。語言在這些場景中的優勢在于編碼類似任務之間的共享結構（例如，「拿起可樂罐」與「拿起蘋果」），從而減少了學習從任務到行動映射所需的數據。然而，隨著任務變得更加多樣化，描述每個任務的語言也變得更加多樣（例如，「拿起可樂罐」與「倒一杯水」），這使得僅通過高層次語言學習不同任務之間的共享結構變得更加困難。

為了學習多樣化的任務，研究者的目標是更準確地捕捉這些任務之間的相似性。

他們發現語言不僅可以描述高層次任務，還能細致說明完成任務的方法 —— 這種表示更細膩，更貼近具體動作。例如，「拿起可樂罐」這一任務可以分解為一系列更細節的步驟，即「語言動作（language motion）」：首先「手臂向前伸」，接著「抓緊罐子」，最后「手臂上舉」。研究者的核心洞見是，通過將語言動作作為連接高層次任務描述與底層次動作之間的中間層，可以利用它們來構建一個通過語言動作形成的行動層級。

建立這種行動層級有幾大好處：

• 它使不同任務之間在語言動作層面上能夠更好地共享數據，使得語言動作的組合和在多任務數據集中的泛化性得到增強。例如，「倒一杯水」與「拿起可樂罐」雖在語義上有所不同，但在執行到撿起物體之前，它們的語言動作完全一致。
• 語言動作不是簡單的固定原語，而是根據當前任務和場景的具體情況通過指令和視覺觀察來學習的。比如，「手臂向前伸」并沒具體說明移動的速度或方向，這取決于具體任務和觀察情況。學習到的語言動作的上下文依賴性和靈活性為我們提供了新的能力：當策略未能百分百成功時，允許人們對語言動作進行修正（見圖 1 中橙色區域）。進一步地，機器人甚至可以從這些人類的修正中學習。例如，在執行「拿起可樂罐」的任務時，如果機器人提前關閉了夾爪，我們可以指導它「保持手臂前伸的姿勢更久一些」，這種在特定場景下的微調不僅易于人類指導，也更易于機器人學習。

鑒于語言動作存在以上優勢，來自谷歌 DeepMind 的研究者設計了一個端到端的框架 ——RT-H（Robot Transformer with Action Hierarchies，即使用行動層級的機器人 Transformer），專注于學習這類行動層級。RT-H 通過分析觀察結果和高層次任務描述來預測當前的語言動作指令，從而在細節層面上理解如何執行任務。接著，利用這些觀察、任務以及推斷出的語言動作，RT-H 為每一步驟預測相應的行動，語言動作在此過程中提供額外的上下文，幫助更準確地預測具體行動（圖 1 紫色區域）。

此外，他們還開發了一種自動化方法，從機器人的本體感受中提取簡化的語言動作集，建立了包含超過 2500 個語言動作的豐富數據庫，無需手動標注。

RT-H 的模型架構借鑒了 RT-2，后者是一個在互聯網規模的視覺與語言數據上共同訓練的大型視覺語言模型（VLM），旨在提升策略學習效果。RT-H 采用單一模型同時處理語言動作和行動查詢，充分利用廣泛的互聯網規模知識，為行動層級的各個層次提供支持。

在實驗中，研究者發現使用語言動作層級在處理多樣化的多任務數據集時能夠帶來顯著的改善，相比 RT-2 在一系列任務上的表現提高了 15%。他們還發現，對語言動作進行修正能夠在同樣的任務上達到接近完美的成功率，展示了學習到的語言動作的靈活性和情境適應性。此外，通過對模型進行語言動作干預的微調，其表現超過了 SOTA 交互式模仿學習方法（如 IWR）50%。最終，他們證明了 RT-H 中的語言動作能夠更好地適應場景和物體變化，相比于 RT-2 展現出了更優的泛化性能。

RT-H 架構詳解

為了有效地捕獲跨多任務數據集的共享結構（不由高層次任務描述表征），RT-H 旨在學習顯式利用行動層級策略。

具體來說，研究團隊將中間語言動作預測層引入策略學習中。描述機器人細粒度行為的語言動作可以從多任務數據集中捕獲有用的信息，并可以產生高性能的策略。當學習到的策略難以執行時，語言動作可以再次發揮作用：它們為與給定場景相關的在線人工修正提供了直觀的界面。經過語言動作訓練的策略可以自然地遵循低水平的人工修正，并在給定修正數據的情況下成功完成任務。此外，該策略甚至可以根據語言修正數據進行訓練，并進一步提高其性能。

如圖 2 所示，RT-H 有兩個關鍵階段：首先根據任務描述和視覺觀察預測語言動作，然后根據預測的語言動作、具體任務、觀察結果推斷精確的行動。

RT-H 使用 VLM 主干網絡并遵循 RT-2 的訓練過程來進行實例化。與 RT-2 類似，RT-H 通過協同訓練利用了互聯網規模數據中自然語言和圖像處理方面的大量先驗知識。為了將這些先驗知識合并到行動層級的所有層次中，單個模型會同時學習語言動作和行動查詢。

實驗結果

為了全面評估 RT-H 的性能，研究團隊設置了四個關鍵的實驗問題：

• Q1（性能）：帶有語言的行動層級是否可以提高多任務數據集上的策略性能？
• Q2（情境性）：RT-H 學得的語言動作是否與任務和場景情境相關？
• Q3（糾正）：在語言動作修正上進行訓練比遠程（teleoperated）修正更好嗎？
• Q4（概括）：行動層級是否可以提高分布外設置的穩健性？

數據集方面，該研究采用一個大型多任務數據集，其中包含 10 萬個具有隨機對象姿態和背景的演示樣本。該數據集結合了以下數據集：

• Kitchen：RT-1 和 RT-2 使用的數據集，由 70K 樣本中的 6 個語義任務類別組成。
• Diverse：一個由更復雜的任務組成的新數據集，具有超過 24 個語義任務類別，但只有 30K 樣本。

該研究將此組合數據集稱為 Diverse+Kitchen (D+K) 數據集，并使用自動化程序對其進行語言動作標記。為了評估在完整 Diverse+Kitchen 數據集上訓練的 RT-H 的性能，該研究針對八項具體任務進行了評估，包括：

1）將碗直立放在柜臺上

2）打開開心果罐

3）關閉開心果罐

4）將碗移離谷物分配器

5）將碗放在谷物分配器下方

6）將燕麥片放入碗中

7）從籃子里拿勺子

8）從分配器中拉出餐巾

選擇這八個任務是因為它們需要復雜的動作序列和高精度。

下表給出了在 Diverse+Kitchen 數據集或 Kitchen 數據集上訓練時 RT-H、RT-H-Joint 和 RT-2 訓練檢查點的最小 MSE。RT-H 的 MSE 比 RT-2 低大約 20%，RTH-Joint 的 MSE 比 RT-2 低 5-10%，這表明行動層級有助于改進大型多任務數據集中的離線行動預測。RT-H (GT) 使用 ground truth MSE 指標，與端到端 MSE 的差距為 40%，這說明正確標記的語言動作對于預測行動具有很高的信息價值。

圖 4 展示了幾個從 RT-H 在線評估中獲取的上下文動作示例。可以看到，相同的語言動作通常會導致完成任務的行動發生微妙的變化，同時仍尊重更高級別的語言動作。

如圖 5 所示，研究團隊通過在線干預 RT-H 中的語言動作來展示 RT-H 的靈活性。

該研究還用比較實驗來分析修正的作用，結果如下圖 6 所示：

如圖 7 所示，RT-H 和 RT-H-Joint 對場景變化明顯更加穩健：

實際上，看似不同的任務之間具備一些共享結構，例如這些任務中每一個都需要一些拾取行為來開始任務，并且通過學習跨不同任務的語言動作的共享結構，RT-H 可以完成拾取階段而無需任何修正。

即使當 RT-H 不再能夠泛化其語言動作預測時，語言動作修正通常也可以泛化，因此只需進行一些修正就可以成功完成任務。這表明語言動作在擴大新任務數據收集方面的潛力。

感興趣的讀者可以閱讀論文原文，了解更多研究內容。