一手訓(xùn)練，多手應(yīng)用：國防科大提出靈巧手抓取策略遷移新方案

作者：機(jī)器之心 2024-10-06 16:50:00

來自國防科技大學(xué)和深圳大學(xué)的研究者提出了一種新穎的策略學(xué)習(xí)方法。通過利用對不同靈巧手的一致性表征設(shè)計，以及分離靈巧手高層運(yùn)動生成和低層關(guān)節(jié)控制，該方法實現(xiàn)了將在一個靈巧手上訓(xùn)練的策略以低代價遷移到其他靈巧手，并同時保持抓取性能和對物體的泛化性。

本文來自國防科技大學(xué)智能圖形計算團(tuán)隊，主要研究方向包括智能圖形學(xué)、具身智能、機(jī)器學(xué)習(xí)、三維視覺等。團(tuán)隊擁有多名國家級人才，在國際上較早開展了數(shù)據(jù)驅(qū)動三維感知、建模與交互工作，發(fā)表TOG/TPAMI/TVCG等A類論文200余篇，獲得湖南省自然科學(xué)一等獎、中國計算機(jī)學(xué)會自然科學(xué)一等獎、軍隊科技進(jìn)步獎、軍隊教學(xué)成果獎、湖南省優(yōu)秀研究生導(dǎo)師團(tuán)隊等。

在機(jī)器人研究領(lǐng)域，抓取任務(wù)始終是機(jī)器人操作中的一個關(guān)鍵問題。這項任務(wù)的核心目標(biāo)是控制機(jī)械手移動到合適位置，并完成對物體的抓取。近年來，基于學(xué)習(xí)的方法在提高對不同物體的抓取的泛化能力上取得了顯著進(jìn)展，但針對機(jī)械手本身，尤其是復(fù)雜的靈巧手（多指機(jī)械手）之間的泛化能力仍然缺乏深入研究。由于靈巧手在不同形態(tài)和幾何結(jié)構(gòu)上存在顯著差異，抓取策略的跨手轉(zhuǎn)移一直存在挑戰(zhàn)。

為了解決這個問題，來自國防科技大學(xué)和深圳大學(xué)的研究者提出了一種新穎的策略學(xué)習(xí)方法。通過利用對不同靈巧手的一致性表征設(shè)計，以及分離靈巧手高層運(yùn)動生成和低層關(guān)節(jié)控制，該方法實現(xiàn)了將在一個靈巧手上訓(xùn)練的策略以低代價遷移到其他靈巧手，并同時保持抓取性能和對物體的泛化性。

論文標(biāo)題：Learning Cross-hand Policies of High-DOF Reaching and Grasping
論文地址：https://arxiv.org/abs/2404.09150
項目主頁：https://qijinshe.github.io/IBS-Retargeting.github.io/

該工作的創(chuàng)新點(diǎn)主要有以下部分：

運(yùn)動和控制分離的層次化框架：將高層次的抓取運(yùn)動預(yù)測與低層次的關(guān)節(jié)控制分離開來，通用的策略負(fù)責(zé)規(guī)劃靈巧手整體的運(yùn)動，專用的控制模塊負(fù)責(zé)將運(yùn)動轉(zhuǎn)化為對特定機(jī)械手關(guān)節(jié)的控制，這一設(shè)計提高了模型在多種靈巧手上的適應(yīng)性；

手無關(guān)的狀態(tài)和動作表示：提出了一種通用的表示方法，這種表示結(jié)合了靈巧手間通用的關(guān)鍵點(diǎn)以及側(cè)重刻畫手和場景交互的幾何特征，分別避免了靈巧手結(jié)構(gòu)和幾何差異對策略泛化帶來的影響，使其能夠在不同的機(jī)械手之間轉(zhuǎn)移，無需針對每個機(jī)械手單獨(dú)訓(xùn)練策略模型；

基于 Transformer 的策略網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計：通過注意力機(jī)制，模型能夠在各種靈巧手上整合不同手指和表示的信息，并使其適用于不同手指數(shù)量的靈巧手，進(jìn)一步提高了抓取策略的泛化能力。

方法描述

該工作提出了一種可以在不同靈巧手間遷移的抓取策略及其學(xué)習(xí)方法，總體框架如圖所示。整個方法分為兩個關(guān)鍵階段：基于通用的幾何和結(jié)構(gòu)無關(guān)的狀態(tài)動作表示的抓取策略模型，以及面向特定靈巧手的自適應(yīng)模型。前者負(fù)責(zé)把控靈巧手總體的運(yùn)動生成，而后者則將相應(yīng)的運(yùn)動轉(zhuǎn)化為靈巧手實時的關(guān)節(jié)動態(tài)變化。

圖 1 跨手遷移的抓取策略學(xué)習(xí)的整體框架圖

為了使得學(xué)習(xí)的策略模型可以在不同靈巧手之間實現(xiàn)泛化，該工作設(shè)計了一套不同靈巧手普適的狀態(tài)和動作表征。它使用了靈巧手上的語義關(guān)鍵點(diǎn)作為表征，來克服靈巧手的結(jié)構(gòu)差異。這些語義關(guān)鍵點(diǎn)不僅可以統(tǒng)一指代不同靈巧手上具有相同語義的部分（比如指尖），也可以很好地概括靈巧手手指的運(yùn)動信息，因此可以將關(guān)鍵點(diǎn)的位置信息作為策略的狀態(tài)表示，而將其的位置變化作為策略的動作表示。此外，為了克服不用靈巧手的幾何差異對策略的影響，該工作使用了交互二分曲面（Interaction Bisector Surface）[15] 這種特殊幾何表示作為策略的狀態(tài)表示的補(bǔ)充。這種表示被定義成到空間中到兩個物體距離相等的平面，在該工作中則用來表示抓手和場景之間的等距離面。這種表示被驗證可以提升抓取策略對靈巧手幾何的魯棒性。

在網(wǎng)絡(luò)的實現(xiàn)上，該工作設(shè)計了一個基于 Transformer 網(wǎng)絡(luò)結(jié)構(gòu)的通用策略模型。它通過多層自注意力機(jī)制來融合不同輸入特征，并整合各手指之間的信息。這種設(shè)計使得學(xué)習(xí)的策略可以適用不同數(shù)量手指的靈巧手，進(jìn)一步提升了泛化性。在下層的靈巧手關(guān)節(jié)控制上，該工作用輕量的多層感知機(jī)網(wǎng)絡(luò)構(gòu)建了特定手適配模型，負(fù)責(zé)將關(guān)鍵點(diǎn)位移映射到抓取器的關(guān)節(jié)變化，確保不同抓取器都能夠被統(tǒng)一的高層策略模型控制。

模型訓(xùn)練分為兩個階段：聯(lián)合訓(xùn)練和遷移訓(xùn)練，以確保模型在不同抓取器上的通用性和性能。在聯(lián)合訓(xùn)練階段，策略模型和特定手適配模型會在一個靈巧手上同時訓(xùn)練，但它們各自獨(dú)立優(yōu)化。策略模型的訓(xùn)練采用強(qiáng)化學(xué)習(xí)方法，通過獎勵函數(shù)優(yōu)化抓取成功率和避免碰撞的能力。而適應(yīng)模型則通過自監(jiān)督的循環(huán)損失進(jìn)行訓(xùn)練，確保關(guān)鍵點(diǎn)位移能夠精確映射到關(guān)節(jié)角度變化同時避免自碰撞。

至于遷移訓(xùn)練，其重點(diǎn)是將先前訓(xùn)練的策略模型應(yīng)用到新的靈巧手上。在這個過程中，策略模型保持固定，只對新的靈巧手重新訓(xùn)練特定手適配模型，以適配其不同的關(guān)節(jié)結(jié)構(gòu)。由于適應(yīng)模型較為輕量且可以通過自監(jiān)督方式訓(xùn)練，這個過程可以被快速高效的完成。

通過這兩階段的訓(xùn)練，模型不僅具備了跨靈巧手的通用能力，還能在新靈巧手上迅速適應(yīng)并執(zhí)行高精度抓取任務(wù)。

實驗結(jié)果

該工作對所提出的框架和設(shè)計進(jìn)行了廣泛的實驗驗證，并評估了其在不同抓取器和物體上的性能。實驗使用了多種靈巧抓取器，并在 YCB 物體集和 ContactPose 物體集上測試了詳細(xì)實驗，圖 2 展示了該工作方法在不同靈巧手以及不同物體上抓取的可視結(jié)果，證明了方法的泛化性。

圖 2. 跨手遷移的抓取策略在不同靈巧手和物體上的泛化效果

定量測試方面，該工作首先測試了方法中的主要設(shè)計對靈巧手抓取策略性能和泛化性的影響，包括兩階段分離的策略設(shè)計，通用的表征設(shè)計，基于 transform 的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計。實驗結(jié)果表明這些設(shè)計可以幫助策略實現(xiàn)不同靈巧手之間的，高性能的策略遷移。

表 1. 跨手遷移的抓取策略的消融實驗

為了進(jìn)一步證明該工作方法的性能優(yōu)勢，該工作和一些基于現(xiàn)有方案的基線方法進(jìn)行了進(jìn)一步的性能對比，如表 2 所示。這些方法包括使用不同特征（關(guān)節(jié)匹配和關(guān)鍵點(diǎn)匹配）的基于運(yùn)動重定向的方法以及對策略輸入輸出進(jìn)行映射的方法，實驗結(jié)果證明了該工作方法的優(yōu)越性。