大數據文摘出品

近日，來自卡內基梅隆大學、加州大學伯克利分校、Meta、英偉達、波士頓動力以及豐田研究所的 6 家頂尖機構的 7 位頂級位專家進行了一場“關于生成式人工智能（AI）與機器人”的頂級討論。

討論的話題覆蓋了生成式 AI、人形機器人、家用機器人等等。討論的角度在于全面、深入解析現有的機器人技術以及未來技術。討論者發言的觀點，貼近實際發人深省。例如：

• “2023 年是生成式 AI 徹底改變機器人學的一年”；
• “生成式AI 對機器人技術的各個領域，從模擬到設計，都產生革命性的影響”；
• “簡易的抓手比五指的機器人手更可靠、更經濟”；
• “農業領域超越了傳統的制造業和倉儲業，為機器人技術提供了一個廣闊的應用平臺”......

參與討論位專家分別是：卡耐基梅隆大學的Matthew Johnson-Roberson、Meta的Dhruv Batra、波士頓動力公司的Aaron Saunders、加州大學伯克利分校的Ken Goldberg、英偉達的Deepu Talla、豐田汽車先進AI研究所的Russ Tedrake、Max Bajracharya。

生成式 AI 與機器人技術中的未來

卡耐基梅隆大學的Matthew Johnson-Roberson

Matthew（CMU）：通過生成新穎數據和解決方案，生成式 AI 將極大地提升機器人的能力。它不僅能使機器人更廣泛地泛化任務處理能力，還能增強它們對新環境的適應性，并提升其自主學習與進化的能力。

Dhruv （Meta）：生成式 AI 在具身 AI 和機器人研究中扮演兩個獨特角色：

• 數據/經驗生成器：生成 2D 圖像、視頻、3D 場景或 4D（3D + 時間）等訓練機器人所需的語料。鑒于現實世界中的機器人經驗（數據）極為珍貴，生成式 AI可以被視作“學習型模擬器”。我堅信，沒有模擬的訓練和測試，機器人研究是無法大規模進行的。
• 自監督學習架構：生成機器人未來可能觀察到的感官數據，與實際觀測進行比較，作為一種無需標注的學習信號。更多細節可參見 Yann 發表的關于 AMI 的論文。

AMI論文：A Path Towards Autonomous Machine Intelligence Version 0.9.2, 2022-06-27

地址：https://openreview.net/pdf?id=BZ5a1r-kVsf

Aaron（波士頓動力）：當前變革的速度讓我們無法對未來做出精準預測。基礎模型標志著機器學習模型創造方式的重大變革，不僅能夠創建與機器人的對話界面，提升現有計算機視覺功能的質量，還可能開發出如視覺問題解答等新的能力。我們認為，這些更加可擴展的架構和訓練策略最終可能超越語言和視覺，擴展到機器人的規劃和控制領域。

豐田汽車先進AI研究所的Russ Tedrake

Russ（豐田汽車先進AI研究所）：生成式 AI 擁有給機器人技術帶來革命性新功能的潛力。現在，我們不僅能夠用自然語言與機器人交流，而且通過連接至互聯網規模的語言和圖像數據，機器人對世界的理解和推理能力也大幅增強。但目前還處于初級階段，還需進一步研究：如何將圖像和語言知識與機器人所需的物理智能有效結合，從而使機器人變得真正實用。

Ken（加州大學伯克利分校）：2023 年是生成式 AI 徹底改變機器人學的一年。像 ChatGPT 這樣的大語言模型讓機器人與人類之間的自然語言交流成為可能。機器人學家還發現，大型的視覺-語言-動作模型可以被訓練用來增強機器人的感知能力，并控制其手臂和腿部的動作。這種訓練需要大量的數據，因此全球實驗室現在正合作分享數據。雖然關于泛化能力的問題尚未完全解決，但這些模型帶來的影響是深遠的。

另一個激動人心的話題是“多模態模型”，它有兩種含義：

• 結合不同輸入模式的多模態：例如將視覺和語言結合起來。現在這已經擴展到包括觸覺、深度感知以及機器人動作。
• 對相同輸入狀態允許不同響應的多模態：這在機器人技術中相當常見，例如用多種方式抓取同一個物體。標準的深度模型會將這些抓取動作“平均化”，這可能導致非常糟糕的抓取效果。

Deepu（英偉達）：我們已經目睹了生成式 AI 如何提高生產力。顯然，生成式AI 對機器人技術的各個領域，從模擬到設計，都將產生革命性的影響。

• 模擬：模型將通過構建場景、創建環境和生成資產來加速模擬開發，縮小 3D 技術藝術家和開發者之間的差距。生成式AI 生成的資產將被廣泛應用于數據合成、機器人技能訓練和軟件測試。
• 多模態人工智能：基于 Transformer 的模型將提升機器人理解其周圍世界的能力，使它們能在更多的環境中工作，并完成更復雜的任務。
• 機器人（重新）編程：機器人將具備更強大的能力來用簡單的語言定義任務和功能，使它們變得更加通用和多用途。
• 設計：創新的機械設計將提升效率，例如在末端執行器的設計上。

對人形機器人的看法

加州大學伯克利分校的Ken Goldberg

Ken（加州大學伯克利分校）：我對類人機器人和腿式機器人一直持保留態度，認為它們往往過于夸張并且效率不高。但在見識了波士頓動力、Agility 和 Unitree 最新的人形機器人和四足機器人之后，我改變了看法。特斯拉在大規模開發低成本電機和齒輪系統方面擁有卓越的工程技能。相比于輪式機器人，腿式機器人在家庭和工廠等環境中更有優勢，它們能夠跨越臺階、障礙物和地毯。雖然雙臂機器人對許多任務來說至關重要，但簡易的抓手比五指的機器人手更可靠、更經濟。

Deepu（英偉達）：設計自動化機器人本就充滿挑戰，要創建類人機器人更是難上加難。不同于大多數只需理解地面障礙物的自動移動機器人（AMR），類人機器人作為移動操作平臺，需要利用多模態 AI 來深入理解它們周邊的環境。這涉及到大量的傳感器處理、高級控制技術以及技能執行。

生成式 AI 在構建基礎模型方面取得的突破，正讓類人機器人所需的技能更加廣泛適用。同時，也看到模擬技術的進步，這些技術能夠訓練基于 AI 的控制系統和感知系統。

Matthew（CMU）：人形的設計形態是一個極其復雜的工程與設計挑戰。它對模仿人類動作和互動設定了高度復雜的執行器和控制系統標準。同時，它也在平衡和協調方面提出了獨特的挑戰。盡管存在這些困難，但人形機器人在多種社會和實用環境中具有極高的潛在通用性和直觀可用性。

Max（豐田汽車先進AI研究所）：機器人被廣泛應用于人類環境中，這些環境通常是以人為本設計的。因此，這些機器人需要具備適應這些以人為中心的環境并在其中有效工作的能力。然而，適應人類環境并不強求機器人必須擁有類人形態，如兩臂、五指、兩腿和頭部等。更為關鍵的是，機器人應設計得既緊湊又安全，并且能夠執行與人類相似或相輔相成的任務，以實現與人類的協作和互補。

Dhruv （Meta）：我持有樂觀的看法。從根本上來說，人類的環境是圍繞人的形態和行為模式設計的。因此，如果期望通用機器人在這些環境中有效地工作，它們的形態至少在一定程度上需要模仿人類。這不僅僅是模仿人的外觀，機器人可能會配備有超出人類能力的傳感器或更多的附肢，以適應和優化其在人類環境中的性能和功能。

Aaron（波士頓動力）：類人形態并不是所有類型任務的理想選擇。以Stretch為例，最初受到Atlas機器人移動箱子視頻的啟發，對開發一種專門的箱子搬運機器人產生了興趣。但是，僅僅因為人類可以搬運箱子，并不意味著人形就是執行此類任務的最佳形態。因此，我們設計了Stretch，這款機器人專為搬運箱子而生，它在完成這一任務時的效率和效果遠超人類。盡管如此，我們依然對追求多功能通用機器人技術抱有長遠的興趣，畢竟人形設計與我們的生活環境極為契合。

下一個機器人技術落地場景

Max（豐田汽車先進AI研究所）：農業領域蘊含巨大的潛力和需求，但同時，許多農業任務因其戶外執行和非結構化的環境特征，帶來了極大的挑戰。

Matthew（CMU）：農業領域超越了傳統的制造業和倉儲業，為機器人技術提供了一個廣闊的應用平臺，這里面涉及到解決勞動力短缺、提升作業效率和推動可持續發展等多重挑戰。同時，在運輸和末端配送領域，機器人技術也被寄予厚望，它們有望極大提高效率、減少成本并提升整體服務質量。隨著技術的不斷進步和監管環境的逐步優化，預計這些領域將會加速采納機器人技術，以應對各種挑戰和需求。

Aaron（波士頓動力）：在考慮如何將客戶需求與前沿技術相結合時，制造業和物流業依然是關注的重點。隨著視野的不斷擴大，我預見我們將逐步進入到更加復雜和不確定的環境中。繼制造業和物流業這些對自動化極為友好的領域廣泛采用機器人技術之后，建筑業和醫療保健等行業可能會成為下一波機器人技術應用的熱點。這些行業因其對大量勞動力及對高技能勞動力的強烈需求，在勞動力供應短缺的情況下，顯得尤為具有吸引力。將機器人技術應用于這些位于高度結構化工業環境和完全非結構化消費市場之間的領域，可能成為實現更廣泛應用的自然而然的下一步。

隨著勞動力短缺和人口結構變化，對應的機器人技術機遇也在持續增長。這影響了從農業到最后一公里配送，再到零售等各行各業的機器人企業。

構建適用于各類自主機器人的3D虛擬世界是一項關鍵挑戰，這對于模擬和測試系統是至關重要的。同時，生成式人工智能將為開發者快速構建逼真模擬環境提供支持。將AI技術集成進機器人技術將有助于提升在各種活躍的非傳統“機器人友好”環境中的自動化水平。

Ken（加州大學伯克利分校）：未來，制造業和倉庫中的機器人數量將遠超今日。自動駕駛出租車在舊金山等復雜的駕駛環境中取得的最新進展，的確令人矚目。然而，對于其成本效益，我仍持謹慎觀望態度。在機器人輔助手術領域，研究人員正在探索“增強靈活性”技術，通過這項技術，機器人能在執行縫合等低級輔助任務中增強外科手術技能。

真正的通用機器人還有多遠？

Dhruv （Meta）：預計通用人工智能的實現還需要三十年時間。目前，我們所處的階段超出了任何有意義預測的范圍。實際上，對于那些宣稱“通用人工智能即將到來”的聲音，我們應該保持一定的懷疑態度，并對此類過于樂觀的觀點持警惕心態。

Nvidia的Deepu Talla

Deepu（英偉達）：我們持續見證機器人在智能化道路上的進步，并能夠在特定環境中執行更多種類的任務。我們的目標是不斷解決特定任務的問題，同時提高機器人在各個領域的應用性。然而，要達到真正全面自主的通用機器人，仍有漫長的路要走。

Matthew（CMU）：能夠在多種環境下執行廣泛任務的通用機器人，目前看來仍然是一個遙遠的夢想。這不僅需要在人工智能、機器學習、材料科學以及控制系統等眾多領域取得突破，而且是一個逐漸演進的過程。機器人技術將從專注于特定任務逐漸演化，最終擁有更廣泛的功能和通用性。

Russ（豐田汽車先進AI研究所）：對于我們的機器人從現有的專用模式向更加通用型的轉變，我持樂觀態度。盡管難以預測具體需要多長時間，但靈活的自動化技術、多樣化的高混合制造、農業機器人、前端服務機器人以及其他我們尚未預見的新興領域，都將從不斷增長的自主性和擴展能力中受益。

Ken（加州大學伯克利分校）：我不認為我們在近期內就能看到真正的通用人工智能（AGI）或通用機器人的出現。據我所知，目前沒有哪位機器人學家真正擔心機器人會在短期內取代人類工作或主宰人類。

Aaron（波士頓動力）：在通用機器人的實現之路上，我們正面臨諸多挑戰。雖然專用機器人已在工業自動化中成為常規配置，但真正多功能機器人的發展才剛剛起步。要成為真正的通用機器人，它們必須能夠自主地在非結構化環境中導航，并能解決前所未有的問題。此外，這些進步需要建立在獲得用戶信任和滿足其需求的基礎上，同時還必須以有競爭力的價格提供相應的價值。然而，令人鼓舞的是，我們正見證這個領域的重要性日益增長，以及公眾興趣的顯著提升。我們的孩子們從小便開始接觸機器人技術，而新一代的畢業生們正致力于推動技術革新。如今，我們面對的為工業客戶創造價值的挑戰，正鋪就著通向明天消費者市場機遇以及我們共同期待的通用機器人未來的道路。

家庭機器人（除了吸塵器之外）會在未來十年內蓬勃發展嗎？

Matthew（CMU）：真正通用的機器人，能夠在多樣化環境中執行廣泛任務，可能尚處于遙遠的未來。要達成這一目標，我們需要在人工智能、機器學習、材料科學以及控制系統等多個領域取得關鍵突破。機器人的演進，從執行專門的特定任務到擁有多功能乃至達到通用性，是一個漸進的演化過程。

Deepu（英偉達）：未來，家庭將迎來更多實用的機器人，如個人助理、自動割草機和輔助老年人的機器人等。然而，家用機器人的普及主要受限于成本與價值的平衡——消費者愿意為這些機器人支付多少，以及它們能否提供等值的服務。例如，機器人吸塵器之所以流行，是因為它們具有較好的性價比。隨著技術進步，機器人變得更加智能，擁有用戶友好的界面是其被廣泛采用的關鍵因素。相比于需要復雜編程的機器人，能夠自主繪制環境地圖和通過語音指令操作的機器人將更易被家庭用戶接受。

而在家用機器人的下一波普及浪潮中，我們可能首先看到的是那些專注于戶外活動的機器人，如自動草坪護理機器人。同時，個人/健康護理助手等其他類型的家用機器人雖展現出潛力，但要真正進入千家萬戶，它們還需要克服家庭環境中動態且非結構化的復雜挑戰。

Max（豐田汽車先進AI研究所）：家庭環境對于機器人來說構成了巨大的挑戰，因為每個家庭都擁有其獨特性，缺乏統一的結構化環境，同時消費者對價格極為敏感。盡管未來的發展難以精確預測，機器人技術正以驚人的速度不斷進步。

Aaron（波士頓動力）：在接下來的十年里，我們可能會看到更多專注于特定任務的家用機器人進入家庭，如Roomba這樣的清潔機器人，我們將發現更多具有明確價值的應用場景。然而，真正能夠滿足廣泛消費市場需求的多功能家用機器人普及還需時日。想象一下，在什么情況下你會愿意為一個機器人支付與汽車相當的價格？這可能會在機器人能夠提供與當前交通工具相同的可靠性和價值時發生。

Ken（加州大學伯克利分校）：我預計，未來十年中，我們將看到更多負擔得起的家用機器人，它們能夠協助我們進行日常整理，比如撿起地上的衣服、玩具和垃圾，并將其放置到指定位置。正如現代的吸塵器，盡管這些機器人可能偶爾會出錯，但它們將為家庭提供的便利，尤其是對于父母和老年人，將大大超過它們的局限性。

Dhruv （Meta）：盡管機器人技術發展迅速，但核心技術尚未達到使其在家庭環境中廣泛應用所需的成熟度。

哪些機器人領域尚未得到足夠的關注？

Aaron Saunders，波士頓動力公司：當前，人工智能及其為機器人技術等眾多行業帶來的變革潛力正在引發廣泛關注。盡管人工智能在這些領域扮演著關鍵角色，希望開啟長期靜止不變的領域，但優秀的機器人產品并非僅僅由簡單的二進制代碼組成。為了讓人工智能在物理世界中實現其功能，與環境互動，我們需要不斷跟進計算技術、感知傳感器、電源管理等所有構成機器人系統的關鍵技術的最新發展。汽車行業近期向電氣化和高級駕駛輔助系統的轉變正在迅速改造龐大的供應鏈，帶來前所未有的機遇。顯卡、計算機及越來越復雜的人工智能輔助消費電子產品的進步為整個行業注入了新的活力。這些深遠且鮮為人知的技術變革是機器人技術中最令人興奮的發展趨勢之一，它使得許多創新型小公司能夠借助業界巨頭的支持，推出新穎且引人注目的產品。

Ken（加州大學伯克利分校）：提及機器人運動規劃，它是機器人學領域中最古老而深入的研究課題之一，主要關注如何控制電機關節以實現機器人工具的精確移動和避免障礙。雖然有些人可能認為這個問題已經被解決，但現實情況遠非如此。機器人技術中的“奇點”問題是所有機器人手臂普遍面臨的一個核心挑戰，它與人們所想象的機器人技術的極限大不相同。機器人奇點是指在特定的空間位置，機器人意外停止并需要人工重置的情況。這是由于將預期的直線移動轉化為六個機器人關節電機各自動作的復雜數學運算導致的。在某些特定的空間位置，這種轉換可能變得不穩定，需要機器人進行重置。這個問題的復雜性和持續性表明了機器人運動規劃領域仍然有巨大的研究和改進空間。

對于重復性的機器人動作，可以通過繁瑣的手動微調來避免奇點，確保機器人的連貫性運動。一旦設定好，這些動作可以持續準確地重復執行。然而，在機器人運動需求多樣化的新興領域，比如碼垛、抓取作業、訂單處理和包裹排序等，奇點問題變得更加常見。這些奇點在不可預測的時刻打斷機器人的操作，頻繁發生，成為了眾所周知的一個問題。為了解決這一挑戰，我共同創立了Jacobi Robotics。我們采用高效算法，保證機器人避開奇點，顯著提升了機器人的可靠性和生產效率。這一突破性進展對所有采用機器人技術的行業來說，都意味著質的飛躍，帶來了前所未有的穩定性和效率。

Russ（豐田汽車先進AI研究所）：當前，生成式人工智能以及硬件領域的顯著進步和巨額投資頻頻成為話題。但在這些成就的背后，實際上是模擬技術領域一場靜默的革命。就在幾年前，大多數機器人學者還認為在模擬環境中訓練或測試計算機視覺系統是不切實際的；現在，這已經成為了標準操作程序。盡管仍有一些研究者對完全在模擬中開發控制系統——例如靈巧手——并使其在現實世界中有效運作持保留意見，但越來越多的趨勢和實踐正顯示出這一方向的發展潛力。Nvidia、Google DeepMind 和 TRI 等公司的大量投資正在推動這一變革，我們有理由相信模擬技術的未來將更加廣闊，機器人技術的應用也將因此變得更加高效和精確。

Dhruv （Meta）：現在我們已經能在真實的家庭環境中測試導航機器人，并且它們確實能夠有效地運作！請注意，這些家庭導航機器人沒有自動駕駛汽車在數百萬英里道路上構建精確地圖的奢侈條件。我們簡單地將機器人置于一個新環境，并指導它尋找特定物品。

Deepu（英偉達）：這突顯了對平臺方法的需求。許多機器人初創公司因為只專注于開發適用于特定任務或環境的解決方案而難以擴展。為了商業化實現規模化并具有可行性，開發出能廣泛適用、快速學習新技能和適應新環境的通用機器人是至關重要的。機器人學家需要一個集成了工具和庫的平臺，以便訓練和測試機器人AI，這個平臺應當提供模擬能力，以訓練模型、生成合成數據，并測試整個機器人軟件堆棧。同時，它還應當能夠在機器人上實時運行最新和新興的生成式人工智能模型。未來成功的初創公司和機器人企業將專注于開發新的機器人技能和自動化任務，并充分利用全面的端到端開發平臺。

Matthew（CMU）：盡管機器人技術在某些特定細分市場和特定行業中取得了顯著進步并且成功應用，這些成就往往被那些更加具有未來感或廣泛適用性的機器人概念所遮蔽。在農業、醫療保健或特定工業應用等領域中，穩步取得的成功案例同樣至關重要。它們代表了機器人技術在實際應用中的真正和具體進展，理應受到更廣泛的關注和認可。這些進步不僅彰顯了技術的實用價值，也為機器人技術的未來發展和廣泛應用奠定了堅實的基礎。

原文鏈接：https://techcrunch.com/2023/12/22/top-robotics-names-discuss-humanoids-generative-ai-and-more/