[[441262]]

人們觀察場景通常是觀察場景中的物體和物體之間的關(guān)系。比如我們經(jīng)常這樣描述一個場景：桌面上有一臺筆記本電腦，筆記本電腦的右邊是一個手機。

但這種觀察方式對深度學(xué)習(xí)模型來說很難實現(xiàn)，因為這些模型不了解每個對象之間的關(guān)系。如果不了解這些關(guān)系，功能型機器人就很難完成它們的任務(wù)，例如一個廚房機器人將很難執(zhí)行這樣的命令：「拿起炒鍋左側(cè)的水果刀并將其放在砧板上」。

為了解決這個問題，在一篇 NeurIPS 2021 Spotlight 論文中，來自 MIT 的研究者開發(fā)了一種可以理解場景中對象之間潛在關(guān)系的模型。該模型一次表征一種個體關(guān)系，然后結(jié)合這些表征來描述整個場景，使得模型能夠從文本描述中生成更準(zhǔn)確的圖像。

論文地址：https://arxiv.org/abs/2111.09297

現(xiàn)實生活中人們并不是靠坐標(biāo)定位物體，而是依賴于物體之間的相對位置關(guān)系。這項研究的成果將應(yīng)用于工業(yè)機器人必須執(zhí)行復(fù)雜的多步驟操作任務(wù)的情況，例如在倉庫中堆疊物品、組裝電器。此外，該研究還有助于讓機器能夠像人類一樣從環(huán)境中學(xué)習(xí)并與之交互。

每次表征一個關(guān)系

該研究提出使用 Energy-Based 模型將個體關(guān)系表征和分解為非規(guī)一化密度。關(guān)系場景描述被表征為關(guān)系中的獨立概率分布，每個個體關(guān)系指定一個單獨的圖像上的概率分布。這樣的組合方法可以建模多個關(guān)系之間的交互。

該研究表明所提框架能夠可靠地捕獲和生成帶有多個組合關(guān)系的圖像，并且能夠推斷潛在的關(guān)系場景描述，并且能夠穩(wěn)健地理解語義上等效的關(guān)系場景描述。

在泛化方面，該方法可以推廣到以前未見過的關(guān)系描述上，包括對象和描述來自訓(xùn)練期間未見過的數(shù)據(jù)集。這種泛化對于通用人工智能系統(tǒng)適應(yīng)周圍世界的無限變化至關(guān)重要。

以往的一些系統(tǒng)可能會從整體上獲取所有關(guān)系，并從描述中一次性生成圖像。然而這些模型不能真正適應(yīng)添加更多關(guān)系的圖像。相比之下，該研究的方法將單獨的、較小的模型組合在一起，能夠?qū)Ω嗟年P(guān)系進行建模并適應(yīng)新的關(guān)系組合。

此外，該系統(tǒng)還可以反向工作——給定一張圖像，它可以找到與場景中對象之間的關(guān)系相匹配的文本描述。該模型還可通過重新排列場景中的對象來編輯圖像，使它們與新的描述相匹配。

研究人員將他們的模型與幾種類似深度學(xué)習(xí)方法進行了比較，實驗表明在每種情況下，他們的模型都優(yōu)于基線。

他們還邀請人們評估生成的圖像是否與原始場景描述匹配。在描述包含三個關(guān)系的示例中，91% 的參與者認為該模型的性能比以往模型更好。

這些早期結(jié)果令人鼓舞，研究人員希望未來該模型能夠在更復(fù)雜的真實世界圖像上運行，這需要解決物體遮擋、場景混亂等問題。

他們也期待模型最終能夠整合到機器人系統(tǒng)中，使機器人能夠推斷現(xiàn)實世界中的物體關(guān)系，更好地完成交互任務(wù)。

感興趣的讀者可以閱讀論文原文了解更多研究細節(jié)。