自動駕駛和自然語言如何結合？NuPrompt來了！

作者：汽車人 2023-09-20 12:13:47

本文開發了一個簡單的端到端基線模型，稱為PromptTrack，它有效地融合了新構建的提示推理分支中的跨模態特征，以預測參考目標(referent objects)，顯示了令人印象深刻的性能。

原標題：Language Prompt for Autonomous Driving

論文鏈接：https://arxiv.org/pdf/2309.04379.pdf

作者單位：北京理工大學澳門大學 MEGVII Technology 北京人工智能研究院

代碼鏈接：https://github.com/wudongming97/Prompt4Drivinguunw

論文思路

計算機視覺領域的一個新趨勢是根據自然語言提示符表示的靈活的人類命令捕獲感興趣的目標。然而，由于缺乏配對提示實例(prompt-instance)數據，在駕駛場景中使用語言提示的進展陷入了瓶頸。為了解決這個問題，本文提出了第一個以目標為中心的語言提示集，用于3D、多視圖和多幀空間中的駕駛場景，名為NuPrompt。它擴展了Nuscenes的數據集，構造了總共35367個語言描述，每個描述平均引用5.3個目標軌跡。基于新基準中的目標-文本對(object-text pairs)，本文制定了一個新的基于提示的駕駛任務，即使用語言提示來預測所描述的目標的跨視圖和幀的軌跡(trajectory)。此外，本文還提供了一個簡單的基于Transformer的端到端基線模型，名為PromptTrack。實驗表明，本文的PromptTrack在NuPrompt上取得了令人印象深刻的性能。本文希望這項工作能為自動駕駛社區提供更多新的見解。

主要貢獻

本文提出了一種新的大規模語言提示集(language prompt set)，名為NuPrompt。據本文所知，它是第一個專門研究視頻領域多個感興趣的3D目標的數據集。

本文構造了一個新的基于提示的駕駛感知任務，要求使用語言提示作為語義線索來預測目標的軌跡。

網絡設計

為了推進駕駛場景中提示學習的研究，本文提出了一種新的大規模基準，名為NuPrompt。基準測試是建立在流行的多視圖3D目標檢測數據集Nuscenes[2]上的。本文將語言提示分配給具有相同特征的目標集合，以便為它們奠定基礎(for grounding them)。從本質上講，這個基準提供了許多3D實例-文本匹配，具有三個主要屬性:

1.真實駕駛描述。

與現有的基準測試只表示來自模塊化圖像的2D目標不同，本文數據集的提示描述了來自3D、環顧四周和長時間空間的各種與駕駛相關的目標。圖1展示了一個典型的例子，即一輛車在多個視圖中從后面到前面超過了我們的車。

2.實例級提示標注。

每個提示符都表示一個細粒度的、有區別的、以目標為中心的描述，并允許它覆蓋任意數量的驅動目標。

3.大規模語言提示。

就提示符的數量而言，NuPrompt可以與當前最大的數據集[7]相媲美，即包含35367個語言提示符。

與基準一起，本文制定了一個新的基于提示的感知任務，其主要目標是使用給定的語言提示來預測和跟蹤駕駛環境中的多個 3D目標。該任務的難點在于兩個方面:跨幀時間關聯和跨模態語義理解。為了解決這一挑戰，本文提出了一種端到端的基線，它建立在camera-only 3D tracker PF-Track[24]上，命名為PromptTrack。請注意，PF-Track通過它的過去和未來推理分支展示了出色的時空建模。此外，本文增加了一個快速推理分支來進行跨模態的融合和理解。具體來說，本文的提示推理涉及到提示嵌入和查詢特征之間的交叉注意力，這些特征來自過去的推理，進一步預測 prompt-referred 目標。

圖5。PromptTrack的總體架構。對于每一幀，視覺特征和查詢首先被輸入到Transformer解碼器中，以產生類似于原始DETR框架的解碼查詢。然后，過去的推理通過處理歷史查詢來增強和改進策略，而未來的推理則有利于使用預測位置進行跨幀查詢傳播。最后，快速推理分支預測 prompt-referred 軌跡。該模型采用在線模式進行評價，訓練可進行端到端 differentiated。

圖2。語言提示標注過程Pipeline，包括三個步驟:語言元素收集、語言元素組合、描述生成。首先，在語言元素收集階段，本文將每個語言標簽與 referent objects 配對。然后，在語言元素組合階段，選擇并組合某些語言元素。最后，根據得到的組合，在描述生成階段采用大型語言模型(LLM)創建語言描述。