基于互聯(lián)網(wǎng)數(shù)據(jù)訓(xùn)練的生成模型徹底改變了文本、圖像和視頻內(nèi)容的創(chuàng)建方式。有研究者預(yù)測(cè)，也許生成模型的下一個(gè)里程碑是能夠模擬人類體驗(yàn)世界的方方面面，比如在公路上如何駕駛汽車，又比如如何準(zhǔn)備飯菜。

現(xiàn)如今，借助非常全面的真實(shí)世界模擬器（real-world simulator），人類可以與不同場(chǎng)景和物體進(jìn)行交互，機(jī)器人也可以從模擬經(jīng)驗(yàn)中進(jìn)行學(xué)習(xí)，從而避免出現(xiàn)物理?yè)p壞的風(fēng)險(xiǎn)。

然而，構(gòu)建這樣一個(gè)真實(shí)世界模擬器的主要障礙之一在于可用的數(shù)據(jù)集。雖然互聯(lián)網(wǎng)上有數(shù)十億的文本、圖像和視頻片段，但不同的數(shù)據(jù)集涵蓋不同的信息軸，必須將這些數(shù)據(jù)集中在一起才能模擬出對(duì)世界的真實(shí)體驗(yàn)。例如，成對(duì)的文本圖像數(shù)據(jù)包含豐富的場(chǎng)景和對(duì)象，但很少有動(dòng)作，視頻字幕和問(wèn)答數(shù)據(jù)包含豐富的高級(jí)活動(dòng)描述，但很少有低級(jí)運(yùn)動(dòng)細(xì)節(jié)， 人類活動(dòng)數(shù)據(jù)包含豐富的人類動(dòng)作但很少有機(jī)械運(yùn)動(dòng)，而機(jī)器人數(shù)據(jù)包含豐富的機(jī)器人動(dòng)作但數(shù)量有限。 

以上列舉的信息差異是自然的且難以克服，這給構(gòu)建一個(gè)旨在捕捉現(xiàn)實(shí)世界真實(shí)體驗(yàn)的真實(shí)世界模擬器帶來(lái)了困難。

本文中，來(lái)自 UC 伯克利、Google DeepMind、MIT 等機(jī)構(gòu)的研究者探索了通過(guò)生成模型學(xué)習(xí)真實(shí)世界交互的通用模擬器 UniSim，邁出了構(gòu)建通用模擬器的第一步。例如 UniSim 可以通過(guò)模擬「打開(kāi)抽屜」等高級(jí)指令和低級(jí)指令的視覺(jué)結(jié)果來(lái)模擬人類和智能體如何與世界交互。

• 論文地址：https://arxiv.org/pdf/2310.06114.pdf
• 論文主頁(yè)：https://universal-simulator.github.io/unisim/

本文將大量數(shù)據(jù)（包括互聯(lián)網(wǎng)文本 - 圖像對(duì)，來(lái)自導(dǎo)航、人類活動(dòng)、機(jī)器人動(dòng)作等的豐富數(shù)據(jù)，以及來(lái)自模擬和渲染的數(shù)據(jù)）結(jié)合到一個(gè)條件視頻生成框架中。然后通過(guò)仔細(xì)編排沿不同軸的豐富數(shù)據(jù)，本文表明 UniSim 可以成功地合并不同軸數(shù)據(jù)的經(jīng)驗(yàn)并泛化到數(shù)據(jù)之外，通過(guò)對(duì)靜態(tài)場(chǎng)景和對(duì)象的細(xì)粒度運(yùn)動(dòng)控制來(lái)實(shí)現(xiàn)豐富的交互。

下面視頻演示了 UniSim 如何模擬具有長(zhǎng)交互視界的示例，視頻顯示 UniSim 一口氣模擬了機(jī)器人八個(gè)動(dòng)作指令：

UniSim 對(duì)人類動(dòng)作的模擬：

UniSim 對(duì) RL 策略的模擬部署如下所示：

對(duì)于這項(xiàng)研究，Meta 首席 AI 科學(xué)家 Yann LeCun、英偉達(dá)高級(jí)研究科學(xué)家 Jim Fan 等業(yè)界人士進(jìn)行了轉(zhuǎn)發(fā)。LeCun 給出一個(gè)「Cool」字的評(píng)價(jià)。

Jim Fan 表示，這項(xiàng)工作非常有趣，視頻擴(kuò)散模型被用作了數(shù)據(jù)驅(qū)動(dòng)物理模擬，其中智能體可以規(guī)劃、探索和學(xué)習(xí)最優(yōu)行動(dòng)，并且無(wú)需接觸機(jī)器人硬件也不會(huì)造成損害。可以說(shuō) LLM 不僅是一個(gè) OS，還化身為完整的現(xiàn)實(shí)模擬器。

論文一作、UC 伯克利博士生 Sherry Yang 表示，「學(xué)習(xí)現(xiàn)實(shí)世界模型正在成為現(xiàn)實(shí)」。

模擬現(xiàn)實(shí)世界的交互

如下圖 3 所示，UniSim 能夠模擬一系列豐富動(dòng)作，例如廚房場(chǎng)景中洗手、拿碗、切胡蘿卜、擦干手這一系列動(dòng)作；圖 3 右上是按下不同的開(kāi)關(guān)；圖 3 下是兩個(gè)導(dǎo)航場(chǎng)景。

對(duì)應(yīng)上圖 3 右下的導(dǎo)航場(chǎng)景

對(duì)應(yīng)上圖3右下的導(dǎo)航場(chǎng)景

在長(zhǎng)程模擬方面，下圖 4 是一個(gè) UniSim 自回歸地順序模擬 8 個(gè)交互的例子：

除了支持豐富動(dòng)作和長(zhǎng)程交互，UniSim 還支持高度多樣化和隨機(jī)的環(huán)境變換，例如移除頂部毛巾后顯示的對(duì)象具有多樣性（下圖 5 左）。

UniSim 在真實(shí)世界遷移的結(jié)果。UniSim 的真正價(jià)值在于模擬現(xiàn)實(shí)世界，圖 7 顯示了 VLM 生成的語(yǔ)言規(guī)劃，UniSim 根據(jù)語(yǔ)言規(guī)劃生成的視頻，以及在真實(shí)機(jī)器人上的執(zhí)行情況。

除了測(cè)試 UniSim 在真實(shí)世界的遷移能力之外，本文還進(jìn)行了基于模擬器的評(píng)估，結(jié)果如表 2 所示：

用于強(qiáng)化學(xué)習(xí)的真實(shí)世界模擬器

實(shí)驗(yàn)還評(píng)估了 UniSim 在模擬真實(shí)機(jī)器人執(zhí)行各種動(dòng)作方面的質(zhì)量如何，機(jī)器人通過(guò)重復(fù)執(zhí)行低級(jí)控制操作約 20-30 個(gè)步驟來(lái)左、右、下、上移動(dòng)端點(diǎn) 。表 3 顯示，RL 訓(xùn)練顯著提高了 VLA 策略在各種任務(wù)中的性能，尤其是在指向藍(lán)色塊等任務(wù)中。然后，本文直接將在 UniSim 中訓(xùn)練的 RL 策略零樣本部署到真實(shí)機(jī)器人上，如圖 8（底行）所示。