「仿生人會(huì)夢(mèng)見(jiàn)電子羊嗎？」這是科幻界一個(gè)聞名遐邇的問(wèn)題。

現(xiàn)在英偉達(dá)給出答案：Yes！而且還可以從中學(xué)習(xí)新技能。

如下面各種絲滑操作，都沒(méi)有真實(shí)世界數(shù)據(jù)作為訓(xùn)練支撐。

僅憑文本指令，機(jī)器人就完成相應(yīng)任務(wù)。

這是NVIDIA GEAR Lab最新推出的DreamGen項(xiàng)目。

它所說(shuō)的“夢(mèng)境中學(xué)習(xí)”，是巧妙利用AI視頻世界模型生成神經(jīng)軌跡，僅需少量現(xiàn)實(shí)視頻，就能讓機(jī)器人學(xué)會(huì)執(zhí)行22種新任務(wù)。

在真實(shí)機(jī)器人測(cè)試上，復(fù)雜任務(wù)的成功率更是從21%顯著提升至45.5%，并首次實(shí)現(xiàn)真正意義上的從0開(kāi)始的泛化。

英偉達(dá)掌門(mén)人老黃最近也在Computex 2025演講上將其作為GR00T-Dreams的一部分對(duì)外正式進(jìn)行宣布。

接下來(lái)就DreamGen構(gòu)造我們一一拆解。

在夢(mèng)境中學(xué)習(xí)

傳統(tǒng)機(jī)器人雖已展現(xiàn)出執(zhí)行復(fù)雜現(xiàn)實(shí)任務(wù)的巨大潛力，但嚴(yán)重依賴(lài)人工收集的大規(guī)模遙操作數(shù)據(jù)，成本高且耗時(shí)長(zhǎng)。

純粹的計(jì)算機(jī)仿真合成數(shù)據(jù)，也由于模擬環(huán)境與真實(shí)物理世界差距大，機(jī)器人所學(xué)會(huì)的技能難以直接應(yīng)用到現(xiàn)實(shí)。

于是研究團(tuán)隊(duì)提出要不試試讓機(jī)器人在夢(mèng)境中學(xué)習(xí)？

這個(gè)想法也并非空穴來(lái)風(fēng)，早在2016年MIT的一項(xiàng)研究就證實(shí)，嬰兒大腦會(huì)通過(guò)睡眠期間的神經(jīng)活動(dòng)進(jìn)行自發(fā)學(xué)習(xí)。

由此誕生的DreamGen，核心思想就是利用成熟的視頻世界模型 （如Sora、Veo），對(duì)現(xiàn)實(shí)視頻進(jìn)行虛擬合成，創(chuàng)建大規(guī)模逼真訓(xùn)練數(shù)據(jù)。

新范式主要遵循四步走流程：

1、微調(diào)模型

通過(guò)目標(biāo)機(jī)器人的遠(yuǎn)程操作軌跡，捕捉其運(yùn)動(dòng)學(xué)與動(dòng)力學(xué)特征，微調(diào)視頻世界模型。

2、虛擬數(shù)據(jù)生成

給定初始幀與語(yǔ)言指令后，生成描述預(yù)期行為的海量機(jī)器人視頻序列，既包含微調(diào)后的已知行為，也包括未知場(chǎng)景中的新行為。

當(dāng)然在這一步也要過(guò)濾掉那些不聽(tīng)從指令的噩夢(mèng)。

3、虛擬動(dòng)作提取

利用潛在動(dòng)作模型或逆動(dòng)力學(xué)模型 （IDM）解析偽動(dòng)作序列，形成神經(jīng)軌跡。

4、策略訓(xùn)練

使用生成的視頻-動(dòng)作序列對(duì)（即神經(jīng)軌跡）訓(xùn)練下游視覺(jué)運(yùn)動(dòng)策略。

通過(guò)DreamGen，團(tuán)隊(duì)實(shí)現(xiàn)僅憑單個(gè)環(huán)境中的單一拾取任務(wù)的遙操作數(shù)據(jù)，就能在10個(gè)新環(huán)境中生成22個(gè)新動(dòng)作的“夢(mèng)境”或神經(jīng)軌跡，例如傾倒、錘擊、折疊、熨燙衣物、舀取M&M‘s豆等，并訓(xùn)練機(jī)器人“零鏡頭”下執(zhí)行這些任務(wù)。

此外它還可以增強(qiáng)不同機(jī)器人系統(tǒng)（如Franka與SO-100）以及不同策略架構(gòu)（如Diffusion Policy、GR00T N1）在接觸密集型任務(wù)中的表現(xiàn)，真正實(shí)現(xiàn)了從0到1的零樣本行為泛化和零樣本環(huán)境泛化。

實(shí)驗(yàn)結(jié)果表明，利用單一動(dòng)作數(shù)據(jù)學(xué)習(xí)新動(dòng)作的成功率從11.2%升至43.2%，在單環(huán)境訓(xùn)練下，全新環(huán)境中的成功率也從0%達(dá)到了28.5% （傳統(tǒng)方法幾乎無(wú)法完成）。

以RoboCasa為基準(zhǔn)的仿真驗(yàn)證中，神經(jīng)軌跡規(guī)模達(dá)到人類(lèi)演示數(shù)據(jù)的333倍，策略性能隨軌跡數(shù)量呈對(duì)數(shù)線(xiàn)性提升。

在Fourier GR1、Franka Emika和SO-100機(jī)器人等真實(shí)平臺(tái)上復(fù)雜任務(wù)的成功率也提升顯著，均證實(shí)了DreamGen的有效性。

另外團(tuán)隊(duì)還開(kāi)發(fā)了首個(gè)機(jī)器人視頻生成評(píng)估基準(zhǔn)DreamGen Bench，通過(guò)指令遵循度（IF）和物理合理性（PA）兩項(xiàng)指標(biāo)，評(píng)估模型生成數(shù)據(jù)的質(zhì)量。

英偉達(dá)的GR00T-Dreams藍(lán)圖

英偉達(dá)的野心還遠(yuǎn)不止于此，DreamGen作為英偉達(dá)進(jìn)軍物理AI的宏偉藍(lán)圖的一部分，將協(xié)助新工具GR00T-Dreams從單個(gè)圖像中生成大量合成運(yùn)動(dòng)數(shù)據(jù)，并通過(guò)壓縮動(dòng)作令牌加速機(jī)器人行為學(xué)習(xí)。

這意味著GR00T-Dreams將會(huì)讓GR00T N1.5開(kāi)發(fā)從3個(gè)月銳減至36小時(shí)，作為英偉達(dá)開(kāi)放、通用、完全可定制的類(lèi)人推理和技能基礎(chǔ)模型的首次更新，GR00T N1.5將部署在Jetson Thor上，預(yù)計(jì)于今年底推出。

老黃談到這一發(fā)展時(shí)表示：

從機(jī)器人的人工智能大腦，到用于實(shí)踐的模擬世界，再到用于訓(xùn)練基礎(chǔ)模型的人工智能超級(jí)計(jì)算機(jī)，NVIDIA為機(jī)器人技術(shù)發(fā)展的每個(gè)階段提供了基礎(chǔ)模塊。

也許正如網(wǎng)友所說(shuō)，英偉達(dá)一直走在造夢(mèng)的路上：

論文鏈接：https://arxiv.org/abs/2505.12705

項(xiàng)目鏈接：https://research.nvidia.com/labs/gear/dreamgen/