近年來，機器人強化學習技術領域取得顯著的進展，例如四足行走，抓取，靈巧操控等，但大多數局限于實驗室展示階段。將機器人強化學習技術廣泛應用到實際生產環境仍面臨眾多挑戰，這在一定程度上限制了其在真實場景的應用范圍。強化學習技術在實際應用的過程中，任需克服包括獎勵機制設定、環境重置、樣本效率提升及動作安全性保障等多重復雜的問題。業內專家強調，解決強化學習技術實際落地的諸多難題，與算法本身的持續創新同等重要。

面對這一挑戰，來自加州大學伯克利、斯坦福大學、華盛頓大學以及谷歌的學者們共同開發了名為高效機器人強化學習套件（SERL）的開源軟件框架，致力于推動強化學習技術在實際機器人應用中的廣泛使用。

• 項目主頁：https://serl-robot.github.io/
• 開源代碼：https://github.com/rail-berkeley/serl
• 論文題目：SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning

SERL 框架主要包含以下幾個組件：

1、高效強化學習

在強化學習領域，智能體（如機器人）通過與環境的互動來掌握執行任務的方法。它通過嘗試各種行為并根據行為結果獲得獎勵信號，從而學習出一套旨在最大化累積獎勵的策略。SERL 采用 RLPD 算法，賦能機器人同時從實時互動和之前收集的離線數據中學習，大大縮短機器人掌握新技能需要的訓練時間。

2、多樣的獎勵規定方法

SERL 提供了多種獎勵規定方法，允許開發人員根據特定任務的需求定制獎勵結構。例如，固定位置的安裝任務可以按照機械手的位置制定獎勵，更復雜的任務可以使用分類器或 VICE 學習一個準確的獎勵機制。這種靈活性有助于精確指導機器人學習特定任務的最有效策略。

3、無重制功能

傳統的機器人學習算法都需要定期重置環境，進行下一輪交互學習。在很多任務中這無法自動實現。SERL 提供的無重制強化學習功能同時訓練前向 - 后向兩個策略，為彼此提供環境重置。

4、機器人控制接口

SERL 提供了一系列 Franka 機械手任務的 Gym 環境接口作為標準示例，方便用戶可以輕松地將 SERL 拓展到不同的機械臂上。

5、阻抗控制器

為了確保機器人可以在復雜的物理環境中安全精確地探索與操作，SERL 為 Franka 機械臂提供了特殊的阻抗控制器，在保證準確性的同時確保與外界物體接觸后不產生過大的力矩。

通過這些技術和方法的結合，SERL 大大縮短了訓練時間，同時保持了高成功率和魯棒性，使機器人能夠在短時間內學習完成復雜任務，并在現實世界中有效應用。

圖 1、2: SERL 和行為克隆方法在各項任務中成功率和節拍數對比。在相似數據量的情況下，SERL 的成功率要比克隆的高出數倍 (最高 10 倍)，節拍數也要快上至少兩倍。

應用案例

1、PCB 元件組裝：

在 PCB 板上裝配穿孔元件是一項常見卻又充滿挑戰的機器人任務。電子元件的引腳極易彎曲，而孔位與引腳之間的公差非常小，要求機器人在裝配時既要精準又要輕柔。通過僅僅 21 分鐘的自主學習，SERL 使機器人達到了 100% 的任務完成率。即便面臨如電路板位置移動或視線部分被遮擋等未知的干擾，機器人也能穩定完成裝配工作。

圖 3、4、5：在執行電路板元件安裝任務時，機器人能夠應對在訓練階段未曾遇到的各種干擾，順利完成任務。

2、電纜布線：

在許多機械和電子設備的組裝過程中，我們需要將電纜沿著特定的路徑精確地安裝到位，這一任務對精度和適應性提出了很高的要求。由于柔性電纜在布線過程中容易產生形變，而且布線過程可能會受到各種干擾，比如電纜被意外移動或者夾持器位置的變化，這導致使用傳統的非學習型方法難以應對。SERL 能夠在短短 30 分鐘內實現 100% 的成功率。即便是在夾持器位置與訓練期間不同時，機器人也能夠泛化其學習到的技能，適應新的布線挑戰，確保布線工作的正確執行。

圖 6、7、8：機器人無需更多的專項訓練也能直接把線纜穿過與訓練時位置不一樣的夾子里。

3、物體抓取擺放操作：

在倉庫管理或零售業中，機器人經常需要將物品從一個地方移動到另一個地方，這要求機器人能夠識別并搬運特定的物品。強化學習的訓練過程中，很難對欠驅動的物體進行自動的歸位重置。利用 SERL 的無重置強化學習功能，機器人在 1 小時 45 分鐘內同時學習兩個 100/100 成功率的策略。用前向策略把物體從 A 箱放到 B 箱，再用后向策略把物體從 B 箱歸為回 A 箱。

圖 9、10、11：SERL 訓練了兩套策略，一個把物體從右邊搬運到左邊，一個從左邊放回右邊。機器人不僅在訓練物體上達到 100% 成功率，就連沒見過的物體也能智能搬運。

主要作者

1. Jianlan Luo

Jianlan Luo 目前是加州大學伯克利分校電子與計算機科學系的一名博士后學者，他在伯克利人工智能中心 (BAIR) 與 Sergey Levine 教授合作。他的主要研究興趣在于機器學習，機器人學，以及最優控制。在回到學術界前，他是 Google X 的一名全職研究員，與 Stefan Schaal 教授合作。在此之前，他在加州大學伯克利分校取得計算機科學碩士學位，機械工程博士學位；此間他與 Alice Agogino 教授，Pieter Abbeel 教授一起工作。他也曾在 Deepmind 倫敦總部擔任訪問研究學者。  

2. Zheyuan Hu

他本科畢業于加州大學伯克利的計算機科學和應用數學專業。目前，他在由 Sergey Levine 教授領導的 RAIL 實驗室進行研究。他對機器人學習領域有濃厚的興趣，專注于開發能夠使機器人在真實世界中迅速且廣泛地掌握靈巧操作技能的方法。

3. Charles Xu

他是加州大學伯克利分校的一名電氣工程與計算機科學專業的四年級本科生。目前，他在由 Sergey Levine 教授領導的 RAIL 實驗室進行研究。他的研究興趣位于機器人技術與機器學習的交匯處，旨在構建高魯棒性且具有泛化能力的自主操控系統。

4. You Liang Tan

他是伯克利 RAIL 實驗室的研究員工程師，由 Sergey Levine 教授指導。他先前在新加坡南洋理工大學獲得了學士學位和美國佐治亞理工學院完成了碩士學位。在此之前，他曾是開源機器人基金會（Open Robotics）的一員。他的工作專注于機器學習和機器人軟件技術在真實世界應用。

5. Stefan Schaal

他于 1991 年在德國慕尼黑的慕尼黑技術大學獲得機械工程和人工智能方面的博士學位。他是麻省理工學院大腦與認知科學部及人工智能實驗室的博士后研究員，日本 ATR 人類信息處理研究實驗室的特邀研究員，以及美國佐治亞理工學院和賓夕法尼亞州立大學運動學系的兼職助理教授。在日本 ERATO 項目期間，他還擔任計算學習小組組長，該項目為川人動態大腦項目（ERATO/JST）。1997 年，他成為南加州大學計算機科學、神經科學和生物醫學工程教授，并晉升為終身教授。他的研究興趣包括統計與機器學習、神經網絡與人工智能、計算神經科學、功能性腦成像、非線性動力學、非線性控制理論、機器人學及仿生機器人等主題。

他是德國馬克斯?普朗克智能系統研究所的創始董事之一，在那里他多年領導了自主運動部門。他目前是 Alphabet [Google] 的新機器人子公司 Intrinsic 的首席科學家。Stefan Schaal 是 IEEE Fellow。

6. Chelsea Finn

她是斯坦福大學計算機科學與電氣工程的助理教授。她的實驗室 IRIS 研究通過大規模機器人互動來探索智能，該實驗室隸屬于 SAIL 和 ML Group。她也是 Google Brain 團隊的一員。她對機器人和其他智能體通過學習和互動發展出廣泛智能行為的能力感興趣。此前，她在加州大學伯克利分校完成了計算機科學博士學位，以及在麻省理工學院獲得了電氣工程與計算機科學學士學位。

7. Abhishek Gupta

他是華盛頓大學保羅?G?艾倫計算機科學與工程學院的助理教授，領導 WEIRD 實驗室。此前，他在麻省理工學院作為博士后學者，與 Russ Tedrake 和 Pulkit Agarwal 合作。他在加州大學伯克利分校的 BAIR 完成了關于機器學習與機器人學的博士學位，期間受到 Sergey Levine 教授和 Pieter Abbeel 教授的指導。在此之前，他也在加州大學伯克利分校完成了他的學士學位。他的主要研究目標是開發算法，使機器人系統能夠學會在各種非結構化環境中執行復雜任務，如辦公室和家庭。

8. Sergey Levine

他是加州大學伯克利分校電氣工程與計算機科學系的副教授。他的研究專注于能夠使自主智能體通過學習獲得復雜行為的算法，特別是那些能夠使任何自主系統學會解決任何任務的通用方法。這些方法的應用包括機器人技術，以及需要自主決策的其他一系列領域。