NeurIPS`24 | 超25萬對助力具身智能！3D場景大規模多模態情境推理數據集MSQA | BIGAI 精華
文章鏈接：https://arxiv.org/pdf/2409.02389
項目鏈接：https://msr3d.github.io/
亮點直擊
- 引入了MSQA，這是一個大規模的3D情境推理數據集，包括251K個情境問答對，利用可擴展的自動化數據生成流程，在多樣化的真實場景中采集。
- 提出使用交替多模態輸入設置進行模型學習和評估，建立了兩個全面的基準測試任務，MSQA和MSNN，以評估模型在3D場景中進行情境推理和導航的能力。
- 本文進行了全面的實驗分析，將現有模型與本文提出的基準模型MSR3D在MSQA和MSNN上進行比較。本文強調了處理多模態交替輸入和情境建模的重要性。通過數據擴展和跨域遷移實驗，證明了在MSQA數據上進行預訓練的有效性，以及MSR3D在3D場景中的多模態情境推理潛力。
總結速覽
解決的問題
現有的場景理解數據集和基準測試在數據模態、多樣性、規模和任務范圍方面存在局限性，無法充分支持對3D場景中情境理解的研究。
提出的方案
提出了多模態情境問答 (MSQA) 數據集和基準測試，通過3D場景圖和視覺-語言模型大規模采集數據，以提升模型對情境的推理能力。此外，提出了多模態情境下一步導航 (MSNN) 基準測試，用于評估模型在情境推理中的導航能力。
應用的技術
- 多模態輸入設置：引入文本、圖像和點云數據的交替輸入，以提供更清晰的情境描述，避免單一模態導致的模糊。
- 數據擴展與跨域遷移實驗：利用MSQA進行模型預訓練，以提升模型的情境推理能力。
達到的效果
對MSQA和MSNN的綜合評估顯示了現有視覺-語言模型的局限性，驗證了處理多模態交替輸入和情境建模的重要性。數據擴展和跨域遷移實驗進一步表明，MSQA數據集在預訓練中的應用顯著提升了模型的情境推理能力。
多模態情境推理數據集
本文提出了一種新穎且可擴展的方法，用于收集高質量的3D情境推理數據，并遵循三項核心原則：
- 確保情境的全面性和多樣性
- 設計高度依賴情境的問題并提供準確答案
- 支持多模態交替輸入格式以避免歧義
數據收集
如下圖3所示，本文精心設計了一個基于LLM的自動數據收集流程，包含三個階段：情境采樣、問答對生成和數據精煉。本文的數據收集目標是確保生成數據的高質量。以下是流程的詳細介紹。
- 問答對生成：類似于先前的工作[28, 30]，采用場景圖來提示LLM生成數據。首先使用剪裁的物體圖像提示GPT-4V以實例化場景圖中的每個物體及其屬性。然后，在初始化后的物體之間進行兩兩計算以推導出關系，這些關系可以分為五種類型：接觸的垂直關系（如支撐）、非接觸的垂直關系（如在上方）、水平距離（如靠近）、水平鄰近關系（如右側）和多物體關系（如在…之間）。
在將這些關系建立為場景圖中的邊后，根據采樣情境的位置和視角調整水平鄰近關系，以獲得情境場景圖。基于這些情境場景圖，設計系統提示語并手工制作示例以提示GPT-3.5生成情境問答對。本文關注9種不同的問題范圍，涵蓋物體屬性、計數、空間關系、導航動作等（如下圖4(a)所示）。在提示過程中，指示LLM輸出問題類別。為進一步增強LLM生成的問答對的多樣性，我們使用不同的種子示例組合，并根據不同的距離樣本生成不同的情境子場景圖用于問題生成。
數據精煉為了提升生成的情境問答對的質量，進行了精煉流程，包括兩個主要方面：
- 對情境場景圖，檢查屬性和關系的分布，以減輕可能導致幻覺的潛在偏差；
- 手動審查LLM生成的問答對以驗證其準確性，并基于正則表達式設計過濾函數來檢測和糾正潛在錯誤。
先前的研究[28, 68]已強調數據平衡的重要性，通過篩選不平衡的問答對來平衡生成數據的答案分布。通過這些步驟，收集了跨ScanNet、3RScan和ARKitScenes的251K多模態情境問答對。下表1和提供了MSQA與現有數據集的對比及更多統計數據。
數據質量控制
盡管基于LLM的數據收集流程具有可擴展性，但生成數據的質量仍然是主要關注點，特別是在3D視覺-語言任務中，語言的錨定具備挑戰性。為應對這些問題，進行了人類研究，將生成的數據與SQA3D中的人工標注數據進行比較。具體而言，從MSQA和SQA3D中各抽取100條數據實例并混合供人類評估。評估員被要求從三個方面為數據打分：
- 情境描述的自然性和清晰度
- 問題的情境依賴性和清晰度
- 答案的準確性和完整性
每個方面的評分范圍為1到5分。評估流程的詳細信息見附錄B。評估結果如上面圖4(b)所示，顯示MSQA在各方面的質量與SQA3D相當。此外，圖4(c)表明，MSQA中高評分數據（即得分≥4的質量數據）的比例與SQA3D相匹配或超過SQA3D。這表明了MSQA的質量以及數據精煉流程的有效性。
評估基準
本節詳細描述了用于多模態情境推理的評估任務。具體而言，考慮了以下兩個基準任務：
多模態情境問答 (MSQA)
在MSQA中評估模型在情境感知和處理交織的多模態輸入方面的能力。具體來說，給定一個多模態情境描述，模型需要回答一個基于3D場景的文本-圖像交織問題。由于回答是開放式的，以往的指標（如分類準確率和完全匹配準確率）無法準確評估。為了解決此問題，參考OpenEQA使用基于GPT的評估指標來評估開放式回答，并擴展其提示集以適用于3D情境推理。總體上，報告了包含N個樣本的測試集的正確率評分C，其計算方式如下：
多模態情境下一步導航 (MSNN) 除了MSQA外，還希望通過具身AI任務（如導航）評估模型的情境感知能力。為將長時規劃與情境理解分離，本文提出了MSNN任務，聚焦于在當前情境和導航目標的基礎上預測最佳的即時下一步動作。具體來說，給定代理的當前交織多模態情境描述（包括位置、方向和文本描述）、目標文本描述和整體場景，我們指示模型以文本形式回答通向目標的下一步動作。
為評估，MSNN數據采用類似情境QA生成流程并包含四個關鍵步驟：
- 起始情境采樣
- 目標采樣
- 最優路徑預測
- 計算真實的即時下一步動作
最優路徑由A*算法生成，以在平面圖上規劃從起始位置到目標的最短路徑，而即時下一步動作則依據相對起始情境的最優路徑方向確定。最終，生成了一個包含34K個MSNN樣本的數據集，覆蓋ScanNet中的378個3D場景。此數據集進一步用于監督微調和MSNN評估。
實驗
模型設置
受3D通用模型、LLM和VLM最新進展的啟發，本文提出了幾種適用于MSQA和MSNN的潛在方法，包括可直接零樣本應用于這些任務的模型，以及需要指令調優的模型。
零樣本模型
本文研究了現有LLMs和VLMs（例如GPT-3.5和GPT-4o）在多模態情境推理中的能力。鑒于這些模型在處理3D點云方面的局限性，我們將3D場景的文本描述作為輸入提供給這些模型。具體而言，場景被描述為對象集合，每個對象都包含類別、位置、大小和屬性等特征。然后將該場景的文本描述與交織的多模態情境描述、指令和問題結合，進一步由LLM或VLM處理。對于純文本模型（如LLMs），用對象類別替代對象的圖像作為模型輸入。此外，還引入了Claude-3.5-Sonnet以消除GPT家族內的潛在偏差。
指令調優
基于3D通用模型的最新進展，對現有的3D視覺-語言基礎模型在MSQA和MSNN任務上進行微調。選擇LEO作為代表模型，因其在3D視覺-語言理解和推理中的卓越表現。由于LEO不支持交織的多模態輸入，將輸入圖像替換為其對應的對象類別，類似于零樣本模型。此外，還擴展了LEO，以適應交織的多模態輸入，形成了我們強大的基線模型MSR3D，專用于情境推理和導航。MSR3D通過根據代理的情境對點云輸入進行平移和旋轉來建模情境。選擇MSR3D作為后續消融研究和分析的主要模型。更多關于MSR3D設計的細節詳見附錄C。
評估結果
本節提供了模型在MSQA和MSNN任務上的評估結果。報告了兩個任務測試集的平均正確性評分。此外，還考察了不同情境和問題輸入模態（Input）、3D場景表示（Scene）以及模型設置（Setting）。對于MSNN，將預訓練數據（PT data）的選擇作為額外的變量來驗證MSQA在具身任務中的實用性。
多模態情境問答 (MSQA)
下表2中展示了MSQA的實驗結果，并報告以下發現：
- 零樣本模型在情境空間推理方面表現不佳。零樣本模型擅長回答常識性問題（如可操作性和房間類型等分類為“其他”的問題），這可能得益于LLMs在自然語言任務中的優勢。由于對象屬性被列出，這些模型在屬性和描述方面的表現優于微調模型。然而，它們在處理空間關系和導航問題時表現欠佳，凸顯出其在多模態情境推理中的局限性。
- 情境建模在情境空間推理中至關重要。像LEO這樣的3D視覺-語言模型在未在MSQA上微調的情況下表現不佳，反映出其作為通用基礎模型的局限性。我們的模型在不使用交織輸入的情況下在空間關系和導航任務上優于LEO，這突顯了我們的情境建模方法的重要性。同時，MSR3D在未使用3D場景輸入（即“盲模式”）微調時性能大幅下降，這表明情境意識和3D場景理解在MSQA任務中的重要性。
- 3D點云相較于文本描述更適合作為場景表示。本文進行了一項僅使用文本描述的額外實驗，這些文本描述是通過基于情境場景圖的GPT-3.5提示生成的。用于生成文本描述的情境與MSQA中的QA對一致。上表2中的結果（“DES”行）顯示，在僅使用文本描述時，特別是在對象屬性、空間關系和導航方面，性能顯著下降。進一步探討了“DES”在計數任務上表現更佳的原因。下表3中顯示，對于GT < 3的情況，“DES”表現更好，但對于GT ≥ 3時表現較差。這是因為“DES”在輸入中明確描述了目標對象。然而，當目標對象數量超過一定閾值時，由于上下文長度的限制，部分目標對象可能被截斷。綜上所述，結果表明，相較于文本描述，3D點云在情境推理中是一種更為有效的表示方式。
情境組件對情境推理至關重要
為了揭示情境組件在微調（FT）模型中的有效性，我們添加了一個完全移除情境組件的FT基線，保留3D場景和問題作為輸入。前面表2（無情境）中的結果顯示，去除情境組件后性能顯著下降。特別是，導航相關問題的下降更為顯著，這與MSNN的評估結果相一致，突顯了情境組件的重要性。
交織多模態輸入為情境推理帶來了新挑戰
盡管交織多模態輸入具有優勢，觀察到MSR3D（T+I）的表現略遜于僅文本輸入（T）。為進一步分析這一細微差異，我們從測試集中提取了兩個子集，使圖像僅出現在情境或問題中。下表4中報告了這兩個子集的評估結果，顯示“T+I”在圖像僅出現在問題中的子集上表現顯著下降。我們推測，將圖像納入問題可能加大了情境推理的難度，因為從圖像中識別查詢對象需要額外的定位能力。
多模態情境下一步導航 (MSNN)
在下表5中展示了MSNN的實驗結果，并報告以下發現：
MSNN任務具有挑戰性
表5的結果顯示，最新的LLMs（如GPT-3.5和GPT-4o）和3D視覺語言模型在解決MSNN任務時都面臨顯著的挑戰。這表明了MSNN任務在3D情境推理和具身AI研究中的價值。
MSQA作為具身AI預訓練源的有效性
我們發現，將MSQA用于預訓練（對LEO和MSR3D均有效）顯著提升了MSNN任務的表現，說明MSQA作為解決具身導航任務的預訓練源的有效性。
MSR3D的情境建模方法有效
MSR3D（T），結合情境建模，在導航行為預測中顯示出顯著更高的準確性（相比LEO（T）高出8.56%）。這驗證了我們情境建模方法的有效性。此外，我們通過屏蔽代理的位置和方向來測試無情境的MSR3D，結果表現顯著下降（見表5的無情境結果），進一步證明了情境信息的重要性，同時MSR3D能夠有效利用情境信息。
附加分析
擴展效應
通過在不同數據規模下訓練MSR3D來探索MSQA的擴展效應。研究了擴展的三個因素：QA（隨機下采樣QA對）、情境（下采樣QA對和情境）以及場景（下采樣QA對和場景）。如圖7所示，隨著這三個因素的擴展，模型性能呈現持續提升的趨勢，顯示了顯著的擴展效應，表明進一步擴展的潛力。
跨領域遷移本文將MSQA數據分為三個子集，分別為ScanNet、3RScan和ARKitScenes，并通過在每個子集上訓練MSR3D并在所有子集上進行評估來研究跨領域遷移。下表6的結果顯示，每個子集上最佳的表現是通過在同一領域內訓練（加粗的部分），而非跨領域遷移，展現了領域間的差距。在ARKitScenes上訓練的模型在跨領域遷移中的表現較差。考慮到ARKitScenes中場景相對簡單，這表明在復雜場景上的訓練有助于提升跨領域泛化能力。
結論
本文提出了多模態情境問答（MSQA），這是一個大規模的多模態情境推理數據集，通過可擴展的數據生成pipeline收集而成。MSQA包含251K個情境QA對，涵蓋多種現實世界場景，所有數據以統一格式呈現，包括交錯的文本、圖像和點云。本文提出了基于MSQA的挑戰性基準，用于評估3D場景中的多模態情境推理。此外，還提出了多模態情境下一步導航（MSNN），這一任務旨在評估情境推理和具身導航的能力。我們的全面實驗凸顯了我們數據集和基準的重要價值。希望這項工作能推動情境場景理解和具身智能的發展。
本文轉自AI生成未來 ，作者：AI生成未來
