用Mac訓練個機器人疊衣服，HuggingFace開源全套教程，開源AI機器人革命要來了？
靠 100 條軌跡數據，在 Mac 上訓練幾個小時，就能擁有一個可以抓取樂高積木的機械臂，這是 HuggingFace 機器人科學家 Remi Cadene 曬出的一個實例。機器人的門檻可能并沒有想象中那么高。
Remi Cadene 之前是特斯拉人形機器人 Optimus（擎天柱）項目的成員，3 月份被挖去 HuggingFace，領導一個新的開源機器人項目 ——LeRobot，當時引發了一些轟動。
LeRobot 基于有史以來最大規模的眾包機器人數據集，它的代碼庫堪稱機器人領域的「Transformers」。Cadene 在 X 上表示：「人工智能發展的下一步是將其應用于我們的物理世界。因此，我們正在推動社區共同努力構建 AI 機器人，這對所有人開放！」
如今，Cadene 和他的新同事正在兌現這一承諾。前段時間，他們發布了 DIY 機器人的深入教程，從硬件 DIY 手冊到 Jupyter 筆記本應有盡有。
教程鏈接：https://github.com/huggingface/lerobot/blob/main/examples/7_get_started_with_real_robot.md
youtube 上還有大量的視頻教程可供參考：
視頻鏈接：https://www.youtube.com/@HuggingFace/videos
可以說，只要按照教程操作，你在 Mac 或 PC 上訓練幾個小時，也能擁有一個可以抓取樂高積木的機械臂。
或者，讓它給你疊衣服：
具體來說，這個教程主要解答了以下問題：
1、如何訂購和組裝你的機器人；
2、如何連接、配置和校準你的機器人；
3、如何記錄和可視化你的數據集；
4、如何使用你的數據來訓練策略并準備評估；
5、如何評估你的策略并可視化結果。
該教程主要基于一種開源、價格友好的機器人套件 Koch v1.1 編寫，不過也可以通過改變配置輕松適應各種類型的機器人。
Koch v1.1 由一個主導臂和一個從動臂組成，每個臂有 6 個電機。它可以和一個或多個攝像頭一起工作來記錄場景，這些攝像頭被用作機器人的視覺傳感器。在數據采集階段，你將通過移動主導臂來控制從動臂。這個過程被稱為「遙操作」。這種技術用于收集機器人軌跡。之后，你將訓練一個神經網絡來模仿這些軌跡，并部署網絡以使你的機器人能夠自主操作。
訂購、組裝你的 Koch v1.1
第一步是采購零件和組裝，這步有一個 Koch v1.1 Github 頁面可以參考。
Github 鏈接：https://github.com/huggingface/lerobot/blob/main/examples/7_get_started_with_real_robot.md
這個頁面上包含一個詳細的零件采購清單（作者表示，目前他們只找到了美國、歐盟和英國的購買鏈接，如果讀者可以找到中國、印度等其他國家的購買鏈接，歡迎補充進去）：
主導臂零件采購參考清單。
從動臂零件采購參考清單。
有些零件可能需要 3D 打印，該頁面也給出了詳細的操作指南。
在零件全部到位后，你可以按照以下視頻的指引進行安裝。
視頻鏈接：https://www.youtube.com/watch?v=8nQIg9BwwTk
組裝完的兩個機械臂長這樣：
接下來，使用 5V 電源為主導臂供電，使用 12V 電源為從動臂供電。此外，使用 USB-C 電纜將每個臂連入計算機。
配置電機，校準機械臂，遠程操控你的 Koch v1.1
Koch v1.1 的配置可以參考以下視頻：
視頻鏈接：https://www.youtube.com/watch?v=U78QQ9wCdpY
校準則參考另一個視頻：
視頻鏈接：https://www.youtube.com/watch?v=8drnU9uRY24
Github 頁面也介紹了 Koch v1.1 所需的附加依賴項的安裝以及機械臂的連接、校準方法。控制部分則分為以下步驟介紹：
1、使用 DynamixelMotorsBus 控制電機；
2、使用 DynamixelMotorsBus 遠程操作 Koch v1.1；
3、使用 OpenCVCamera 添加相機；
4、使用 koch. yaml 和 teleoperate 函數
每部分都有詳細的說明和代碼可以參考。
記錄你的數據集并將其可視化
這一步旨在錄制你的第一個訓練集。作者建議從簡單的動作開始來驗證你的設置，例如在五個位置抓取物體，并為每個位置記錄 10 條軌跡。
這一步同樣有視頻可以參考：
視頻地址：https://www.youtube.com/watch?v=n_Ljp_xuFEM
作者表示，你還可以使用以下自定義工具在本地或在線可視化任何數據集：
工具地址：https://huggingface.co/spaces/cadene/visualize_dataset_train
Github 教程涉及以下內容：
1、使用 koch. yaml 和 record 函數；
2、對于記錄數據集的建議；
3、可視化所有 episode；
4、使用 replay 函數在你的機器人上 replay episode。
用你的數據訓練一個策略
這部分主要介紹了如何訓練神經網絡來控制機器人。主要步驟如下：
1、使用訓練腳本；
2、將策略檢查點上傳到 hub。
值得慶幸的是，策略的訓練不需要特別昂貴的設備，在 PC 或 Mac 上跑幾個小時就能訓練出來。而且無需模擬。
評估策略
在評估部分，作者也給出了完整的視頻教程：
視頻地址：https://www.youtube.com/watch?v=Il3Kt8vqpI8
作者表示，這個項目的精妙之處在于，如果每個人都能記錄下自己的數據集并在 hub 上共享，那么大家都將能夠訓練出具有無與倫比的感知世界以及采取行動能力的 AI！這項新技術將推動下一次社會和工業革命。
目前，LeRobt 的開源已經產生了一定的影響力。
Cadene 透露，他們正在開發一款更實惠的機器人。這款機器人不需要 3D 打印，總共花費 150 美元（2 個機械臂）名叫 Moss V1。
此外，他們還將開源一款更強大的機器人，這個機器人可以使用 5 個手指的手作為末端執行器。
他相信開源社區的力量可以推動機器人領域快速發展。
