論文一作為北卡羅來納大學(xué)教堂山分校張子健，指導(dǎo)老師為北卡羅來納大學(xué)教堂山分校助理教授 Huaxiu Yao。共同第一作者為華盛頓大學(xué) Kaiyuan Zheng，其余作者包括來自北卡教堂山的 Mingyu Ding、來自華盛頓大學(xué)的 Joel Jang、Yi Li 和Dieter Fox，以及來自芝加哥大學(xué)的 Zhaorun Chen、Chaoqi Wang。

• 論文標(biāo)題：GRAPE: Generalizing Robot Policy via Preference Alignment
• 論文鏈接：https://arxiv.org/abs/2411.19309
• 項目地址：https://grape-vla.github.io
• 代碼地址：https://github.com/aiming-lab/GRAPE

研究背景

近年來，視覺-語言-動作模型（Vision-Language-Action, VLA）在諸多機器人任務(wù)上取得了顯著的進展，但它們?nèi)悦媾R一些關(guān)鍵問題，例如由于僅依賴從成功的執(zhí)行軌跡中進行行為克隆，導(dǎo)致對新任務(wù)的泛化能力較差。

此外，這些模型通常通過微調(diào)來復(fù)制在不同環(huán)境下由專家收集的演示數(shù)據(jù)，這導(dǎo)致了分布偏差，并限制了它們對多樣化操作目標(biāo)（如效率、安全性和任務(wù)完成）的適應(yīng)能力。

方法部分

為了解決這一問題，我們提出了 GRAPE，一種即插即用的算法，通過偏好對齊提升機器人策略的泛化能力，并支持將 VLA 模型對齊到任意設(shè)定的目標(biāo)。GRAPE 的框架如下圖所示：

圖 1：GRAPE 的框架

GRAPE 帶來了以下三大優(yōu)勢，顯著增強了 VLA 模型的泛化性：

• GRAPE 在軌跡層面通過強化學(xué)習(xí)（RL）目標(biāo)對 VLA 進行對齊，賦予模型全局決策能力，而不僅僅是簡單的行為克隆；
• GRAPE 隱式建模了成功和失敗嘗試中的獎勵，從而提升對多樣化任務(wù)的泛化能力；
• GRAPE 采用可擴展的偏好合成算法。GRAPE 通過與任意目標(biāo)對齊的偏好對軌跡進行排序，進而使得 VLA 模型能被對齊到設(shè)定的目標(biāo)上。

具體而言，GRAPE 的框架可以被拆成三個部分：Trajectory-wise Preference Optimization、Customized Preference Synthesis 和 Iterative Online Alignment。以下是這三個部分的詳細(xì)介紹：

Trajectory-wise Preference Optimization（軌跡級偏好優(yōu)化）：

GRAPE 將逐步訓(xùn)練的 VLA 模型擴展到軌跡級別，并通過強化學(xué)習(xí)（RL）目標(biāo)進行訓(xùn)練，確保對齊后的策略能夠優(yōu)先選擇被接受的軌跡，而非被拒絕的軌跡。

具體而言，我們基于 DPO 的 Loss 函數(shù)進行了改進，引入了一種全新的 TPO_Loss，使得模型能夠?qū)W習(xí)軌跡級別的偏好。我們利用模型在任務(wù)中采集的較優(yōu)與較劣的嘗試（分別計為 ζ_w，ζ_l），建立了 TPO 偏好數(shù)據(jù)集，最終使得模型在 TPO 訓(xùn)練后在全局層面獲得了對齊，并增強了其魯棒性。

圖 2 TPO-Loss 公式

Customized Preference Synthesis（定制化偏好合成）：

基于 TPO-Loss 的設(shè)計，我們需要對于軌跡的優(yōu)劣進行建模，從而構(gòu)建對應(yīng)的偏好數(shù)據(jù)集。然而，對于一些復(fù)雜的機器人任務(wù)，并沒有能夠用于軌跡排序的獎勵模型。

針對這個問題，GRAPE 引入了一種可擴展算法，將復(fù)雜操作任務(wù)分解為獨立階段，并通過一個大型視覺-語言模型提出的關(guān)鍵點，自動引導(dǎo)偏好建模過程中的時空約束。這些約束具有靈活性，可根據(jù)需求進行定制，使模型與不同目標(biāo)（如安全性、效率或任務(wù)完成）保持一致。

Iterative Online Alignment（迭代式在線對齊）：

GRAPE 通過以下迭代循環(huán)不斷優(yōu)化對齊過程：1）在線樣本采集，2）合成偏好排序，3）軌跡級偏好優(yōu)化。這種方法逐步提升了 VLA 策略的泛化能力，并使其與任意目標(biāo)更好地對齊。

實驗結(jié)果

真機泛化實驗

我們在域內(nèi)任務(wù)以及五種分布外泛化（OOD）任務(wù)上評估了 GRAPE 的性能，這些 OOD 任務(wù)包括：視覺（新的視覺環(huán)境）、主體（未見過的物體）、動作（未見過的操作）、語義（未見過的提示）和語言落地泛化（物體處于未見過的空間位置）。

結(jié)果顯示，GRAPE 在這些 OOD 任務(wù)上的表現(xiàn)分別比最先進的 OpenVLA-SFT 模型提升了 20.7%、27.5%、10.0%、5.0% 和 26.7%。這充分體現(xiàn)了通過偏好對齊過程所實現(xiàn)的卓越泛化能力。

仿真泛化實驗

我們進一步在 Simpler-Env 和 LIBERO 環(huán)境中評估了 GRAPE 的性能，重點考察三種 OOD 任務(wù)的泛化能力：主體（未見過的物體）、物理屬性（未見過的物體尺寸 / 形狀）和語義（未見過的提示）。

結(jié)果顯示，GRAPE 在這些 OOD 任務(wù)上相較 OpenVLA-SFT 模型分別提升了 8.0%、12.3% 和 19.0% 的表現(xiàn)。

圖 3：真機與仿真實驗統(tǒng)計結(jié)果

特定對齊目標(biāo)分析

GRAPE 能夠高效地將機器人策略與通過自然語言指定的多種目標(biāo)對齊，例如任務(wù)完成、安全性和效率。這些目標(biāo)被融入多階段的成本函數(shù)中，進而影響采樣軌跡的排序。

實驗表明，當(dāng)對齊目標(biāo)為更安全或更高效的操作策略時，GRAPE 可將碰撞率降低 44.31%，或?qū)?zhí)行軌跡的長度縮短 11.15%。

圖4：指定的對齊目標(biāo)（安全），訓(xùn)練后的模型學(xué)會了安全地執(zhí)行操作

結(jié)論

本文提出了 GRAPE，一種即插即用的 VLA 模型對齊框架，在多種機器人任務(wù)場景下均能使用，能夠基于軌跡偏好提升機器人策略的泛化能力，并支持將模型對齊到指定目標(biāo)。