NVIDIA本周在德國慕尼黑舉行的年度機器人學習大會上推出了這些新工具，大會重點關(guān)注了機器人技術(shù)和機器學習的交叉領(lǐng)域。

NVIDIA宣布推出新的機器人AI學習和模擬工具

其中，包括現(xiàn)已上市的機器人學習框架NVIDIA Isaac Lab；6個用于Project GR00T的新人形機器人學習工作流程，以支持AI機器人大腦開發(fā)；以及用于視頻處理的新開發(fā)人員工具。

觀察和理解世界對于機器人技術(shù)發(fā)展至關(guān)重要。這就必須要分解來自攝像頭的視頻，以便AI模型可以處理這些視頻。NVIDIA宣布Cosmos開源標記器現(xiàn)在已經(jīng)全面上市，為開發(fā)者提供了高質(zhì)量的標記功能，具有極高的壓縮率，運行速度比當前的標記器快12倍，與NeMo Curator相結(jié)合可以優(yōu)化和理解輸入內(nèi)容。

這也使開發(fā)者能夠構(gòu)建更好的“世界模型”（即世界的AI表示），可以預測機器人執(zhí)行動作時物體和環(huán)境將如何響應。

例如，當機器人夾持器靠近香蕉時會發(fā)生什么？成熟的香蕉很軟，因此機器人夾持器不能快速或用力靠近，否則會破碎、變形并造成混亂。一張紙呢？必須以不同的方式抓取紙。不管是哪一種情況，都涉及視頻數(shù)據(jù)的高質(zhì)量編碼和解碼。

人形機器人初創(chuàng)公司1X Technologies的AI副總裁Eric Jang解釋說，Cosmos標記器幫助他的公司實現(xiàn)了高數(shù)據(jù)壓縮，同時仍保持極高的視覺質(zhì)量。他說：“這使我們能夠以更高效的方式訓練具有長視界視頻生成的世界模型。”

并非所有機器人AI大腦都可以在現(xiàn)實世界中訓練，因此NVIDIA發(fā)布了Isaac Lab，這是一個基于Omniverse數(shù)字孿生模擬平臺的開源機器人學習框架。

Omniverse是一個實時3D圖形協(xié)作和模擬平臺，讓藝術(shù)家、開發(fā)者和企業(yè)使用完全實現(xiàn)的物理學構(gòu)建工廠、城市和其他空間的逼真的3D模型和場景，這使其成為模擬虛擬環(huán)境以訓練機器人的一款強大工具。

開發(fā)者可以使用Isaac Lab訓練機器人并大規(guī)模調(diào)整策略，以了解性能和安全性。這個框架適用于任何框架和機器人化身，包括手臂、人形機器人、四足動物和群體。

NVIDIA表示，全球有很多商用機器人制造商和研究團體已經(jīng)把Isaac Lab納入他們的工作流程中，包括Agility Robots、Boston Dynamics、1X、Galbot、Fourier、Mentee Robotics和Berkeley Humanoid。

Project GR00T和更多人形機器人工作流程

構(gòu)建和開發(fā)先進的人形機器人是一項艱巨的挑戰(zhàn)，因為人類可以輕松完成的行走、感知和采取行動需要大量的硬件工程、AI訓練和AI計算，才能讓機器人完成看似簡單的任務。

Project GR00T是NVIDIA的一項計劃，為開發(fā)者提供通用人形機器人的AI基礎(chǔ)模型、軟件庫和數(shù)據(jù)管道，幫助開發(fā)者快速制作原型并更快展開構(gòu)建。

為了幫助開發(fā)者構(gòu)建先進的人形機器人，NVIDIA宣布推出了6個新的Project GR00T工作流程藍圖，幫助他們在機器人中開發(fā)新的功能。

GR00T-Gen讓開發(fā)者可以打造逼真的模擬環(huán)境，以訓練機器人在其中移動、操縱物體和執(zhí)行其他任務。它使用大型語言模型和3D生成式AI模型來創(chuàng)建視覺多樣化的場景和隨機場景，幫助創(chuàng)建強大的訓練環(huán)境。

GR00T-Mimic讓機器人可以向人類老師學習。使用這種工作流程，人類演示者可以遠程操作機器人并以與人類相同的方式執(zhí)行操作，例如在倉庫中走動、從貨架上拉出箱子并將箱子放在推車上，讓機器人在相同的環(huán)境中也可以模仿相同的動作。NVIDIA表示，這個方法使用物理世界中有限數(shù)量的人類演示，使用擴展現(xiàn)實例如Apple Vision Pro，然后縮放運動數(shù)據(jù)以幫助機器人自己產(chǎn)生更有機的運動。

GR00T-Dexterity和GR00T-Control為人形機器人提供了一套精細的靈巧操作和廣泛的身體控制模型和策略。Dexterity將幫助開發(fā)者使用具有執(zhí)行器和指關(guān)節(jié)高度靈巧的手的機器人，并處理未抓握、抓握力和其他抓握動作。GR00T-Control將有助于為整個身體進行運動規(guī)劃，以便行走、移動四肢或執(zhí)行任務。

GR00T-Mobility為開發(fā)者提供了一套模型，幫助人形機器人行走和繞過障礙物，旨在實現(xiàn)基于學習的方法，快速推廣到新環(huán)境中。

最后，GR00T-Perception增加了高級軟件庫和人機交互基礎(chǔ)模型，幫助機器人“記住”事件的長期歷史。為此，NVIDIA為Perception添加了恰如其名的ReMEmbR，為機器人提供個性化人類互動的記憶，并提供背景和空間意識，以提供更好的感知、認知和適應能力。