寫在前面 && 筆者理解

傳統的感知主要采用3D對象邊界框（bboxes）來表征感知，但是這樣的表示其實是有局限性的，它無法捕捉物體形狀的精確細節，特別是對于具有不規則幾何形狀的物體，因為它本質上是一個包含物體的長方體。比如下圖1(a)所示，起重機被一個3D邊界框完美包圍。但是，其相對于駕駛室的長突出部分在3D邊界框內產生了大量未占用的空間。而感知出來的結果是將3D邊界框所包圍的空間視為不可通行的。因此，在處理復雜和不規則形狀的物體時，邊界框在提供細粒度感知結果方面是不足夠的，這可能會影響后續任務的精度，如規劃和控制。

所以，占用空間是一個比較強有力的替代方法，如圖1(b)所示，占用表示將3D空間離散化為體積網格，其中每個體素被分類為被占用或空閑。與3D邊界框相比，這種表示更有效地捕捉不規則形狀，從而增強了精確規劃和控制。然而，從傳感器輸入實時生成場景級占用，無論是從視覺中心輸入還是激光雷達傳感器都非易事，前者是因為缺少深度感知，后者是因為每次激光雷達掃描的稀疏性（見圖2(b)）。

因此，現有的方法利用神經網絡以數據驅動的方式預測占用。由于計算限制，這些方法通常為大場景感知產生低分辨率占用網格或者需要大量的訓練來實現隱式表示，這在實際使用中仍然是不夠的和效率低下的。另一種構建占用網格的方法是直接體素化激光雷達點云。為了緩解稀疏性問題（圖2(b)），聚合多個激光雷達掃描對于背景是有效的。然而，對于前景物體，占用構造變得具有挑戰性，因為它需要準確的檢測和跟蹤來補償它們的潛在移動。在實時應用中，3D檢測容易漂移，跟蹤算法可能會丟失或錯配物體，導致不準確的軌跡。如圖2(d)所示，直接從不準確的軌跡聚合點云會導致極其模糊的形狀表示。這些不準確隨時間積累，逐漸降低了形狀表示的可靠性。

• 論文鏈接：https://arxiv.org/pdf/2412.05154

基于這些觀察，作者做了本文的工作，主要貢獻總結如下：

• 引入了以對象為中心的占用作為對象邊界框的補充，為物體的內在幾何提供了更詳細的結構描述。與其場景級對應物不同，以對象為中心的占用專門關注前景物體，允許即使在大場景中也能實現更高的體素分辨率。
• 為了促進以對象為中心的占用感知的發展，作者提出了一個新的以對象為中心的占用數據集，該數據集是使用自動化流水線從零開始構建的。
• 提出了一個魯棒的基于序列的占用完成網絡。通過使用注意力機制聚合歷史觀測的時間信息，該網絡有效地處理檢測漂移，并準確預測完整的對象中心占用。
• 采用了隱式形狀解碼器來生成動態大小的占用，并通過對選擇位置的查詢減少訓練成本。在Waymo Open Dataset (WOD) 下的實驗表明，即使在嘈雜的檢測和跟蹤條件下，本文的方法也能展現出魯棒的性能，完成對象形狀。憑借隱式形狀描述符，作者展示了最先進的3D對象檢測器的性能也可以得到改善，特別是對于不完整或遠距離的物體。

相關工作

3D占用空間預測和形狀補全

3D語義占用預測（SOP）已成為以視覺為中心的自動駕駛中的關鍵任務，其中算法主要使用RGB攝像頭感知環境。這些以視覺為中心的模型通常將周圍環境離散化為體積網格，并通過對單個/多視圖RGB圖像的適當聚合來預測每個體素的占用狀態。對于被占用的體素，模型還會額外預測相應的語義類別。另一個類似的任務是3D語義場景補全（SSC）。與只需要預測可見區域的占用的SOP不同，SSC還要求模型確定未見區域的占用狀態。值得注意的是，盡管SOP和SSC主要與以視覺為中心的方法相關，但它們也適用于稀疏激光雷達或多模態輸入。現有的SOP和SSC方法主要關注場景級占用，而作者的工作集中在對象級占用上，以更好地表示形狀。此外，對于作者設置，被占用體素的語義不是必需的，因為作者主要關注的是對象邊界框內的幾何結構，其類別標簽是已知的。與作者基于占用的方法不同，大多數形狀補全方法專注于對象的表面重建。然而，基于表面的表示不太適合自動駕駛感知，因為它們不直接支持諸如避碰等任務。

長序列做3D目標檢測

對于單幀檢測器可以通過將幾個歷史幀的連接作為輸入，來獲得不錯的效果。盡管這種簡單的多幀策略顯示出明顯的改進，但隨著輸入幀數的增加，性能容易飽和。此外，隨著輸入幀數的增加，計算成本顯著增加，這對于實時應用不理想。為了解決這個問題，有的工作采用了殘差點探測策略來移除多幀輸入中的冗余點，有的工作選擇了一種以對象為中心的方法，通過對軌跡提議進行時間聚合，允許處理更長的序列以降低計算成本。此外，還有一些工作通過利用整個對象軌跡的過去和未來信息，展示了人類級別的檢測性能。然而，它們僅限于離線應用，因為它們需要訪問未來的幀。最近，MoDAR通過使用從長歷史子序列預測的未來軌跡點來增強激光雷達點云，從而改進檢測。與MoDAR相比，作者的方法能夠通過緊湊的隱式潛在嵌入聚合所有歷史信息。

隱式表示

隱式形狀表示就是用連續函數表示3D形狀。與傳統的顯式表示（例如，點云、網格、體積網格）相比，隱式表示可以在連續空間中描述形狀結構，并且更節省內存。而不是手動設計隱式函數，最近的一些工作提出從數據中學習隱式函數。具體來說，他們使用神經網絡來近似隱式函數，這可以通過數據驅動的方式進行訓練。這些神經函數通常以連續的3D坐標作為輸入，并在查詢位置輸出相關的形狀屬性（例如，顏色、密度、有符號距離等）。作者的隱式形狀解碼器與DeepSDF比較相似。然而，作者不是預測查詢位置的有符號距離，而是預測其占用概率。

以Object為中心的占用數據集

高質量的數據集對于基于學習的方法至關重要。然而，現有的數據集由于坐標系統不對齊和分辨率不足，無法滿足作者對對象中心占用感知的要求。所以作者根據現有的3D檢測數據集，用一套自己的pipiline，構建對象中心占用注釋，生成了一個數據集。坐標系的定義見圖3,，詳細構建過程可以參考原文。

基于序列的占用補全網絡

通過隱式解碼生成動態尺寸占用空間

作者的網絡主要關注由對象提議定義的興趣區域（RoIs）。鑒于不同對象的大小不同，且同一對象的提議可能因檢測不準確而異，從特征空間為每個動態大小的提議高效解碼占用體積是一個重大挑戰。傳統的場景級占用感知方法通常應用密集卷積層來解碼占用體積。然而，這種策略在動態大小對象中心占用的背景下遇到了幾個限制。首先，由于作者需要跨時間戳的特征交互，不同提議的特征最好在同一大小。然而，從固定大小的特征圖解碼動態大小的體積對卷積來說并不簡單。其次，密集卷積操作對于高占用分辨率來說計算成本很高。另一種選擇是稀疏卷積，然而，它無法用正確的占用狀態填充未占用的體素。

雙分支 RoI 編碼

有了隱式形狀解碼器，下一步是獲得一個準確表示RoI內完整對象形狀的潛在嵌入。為了實現準確的形狀補全和檢測，兩個信息源至關重要：

• 每個RoI的部分幾何結構
• 對象隨時間的運動信息。

通過時間聚合增強特征

占用完成和檢測細化

給定最終潛在嵌入Z，作者可以通過在不同位置查詢隱式形狀解碼器D來預測每個提議的完整對象中心占用體積。在訓練期間，作者從每個標注的占用中隨機采樣固定數量的查詢位置和相應的占用狀態。為確保占用預測不受偏差影響，作者采用平衡采樣策略，其中從被占用體素中采樣512個點，從空閑體素中采樣512個點。對于與真實邊界框（GT）匹配的RoI，作者使用RoI和邊界框之間的相對姿態將相應的查詢集轉換到其坐標系中。然后，這些位置查詢被發送到隱式解碼器D以計算占用損失。在推理期間，作者通過在RoI的所有體素中心查詢解碼器來為每個RoI生成密集的占用體積。由于Z現在編碼了完整對象形狀的信息，它為更好的檢測提供了更多的幾何信息。為了保留運動信息，作者還將Z與Zg全局RoI特征融合：

損失函數

實驗及結果

實現細節

為了生成網絡的輸入，作者首先使用FSD 和CenterPoint 作為基礎檢測器來生成對象提議。然后作者利用ImmortalTracker 將檢測結果關聯成對象軌跡提議。作者使用生成的對象軌跡提議以及GT軌跡作為訓練序列。為了便于并行訓練，作者在訓練期間通過填充或剪切將每個軌跡規范為固定長度的32幀。為了加速收斂，作者在每個軌跡內的所有時間戳計算損失，而不僅僅是最后一個。在推理期間，模型通過查看所有歷史框來輸出時間戳t的精煉框。

作者在Waymo Open Dataset (WOD)上進行評估。使用官方訓練集，包括798個序列進行訓練，以及202個序列進行評估。

形狀補全結果

與基線對比 由于對象中心占用是一個新任務，據作者所知，沒有現成的基于學習的方法可以用于比較。所以，作者將其方法與直接在噪聲軌跡提議中累積和體素化歷史點云的基線進行比較。作者在三種類型的軌跡輸入上評估形狀補全性能：真實軌跡（GT），由CenterPoint（CP）生成的軌跡，以及由FSD生成的軌跡。如表1所示，形狀補全性能與輸入軌跡的質量密切相關，更好的軌跡導致更好的形狀補全。在所有情況下，作者的方法都優于基線，即使是在輸入軌跡是無噪聲GT的情況下。這是因為該方法可以通過訓練數據中學到的知識有效地完成對象形狀，即使在早期時間戳，而基線只有在更多視圖可見的后期時間戳才變得有效。

魯棒性 為了模擬不滿足檢測和跟蹤結果，作者對GT框提議添加了一些輕微的噪聲。從表1中作者可以發現，基線性能顯著下降（>10% IoU），而作者的方法在這種情況下保持了穩定的性能（<5% IoU），證明了其對這些噪聲和不準確軌跡的強大魯棒性。

有真值bbox的結果 由于隱式形狀解碼器，作者的方法有潛力預測任何位置的占用狀態。為了證明這種能力，作者通過在GT框內的所有體素中心查詢隱式解碼器來進行實驗。如表1所示，當考慮RoI外的外推結果時，形狀補全性能得到了進一步提高（Ours-E），展示了作者隱式形狀表示的靈活性。

泛化能力 表1的最后一行展示了通過直接將作者訓練好的模型應用于FSDv2 生成的軌跡提議所獲得的占用補全結果。由于更好的檢測，即使沒有重新訓練，作者的方法與CenterPoint相比仍然表現更好。然而，與使用FSD軌跡相比，它的表現略差，盡管FSDv2的檢測結果比FSD好。這表明顯著的檢測改進通常會導致更好的形狀補全（FSDv2與CenterPoint相比）。

目標檢測結果

主要結果 表2展示了在WOD驗證集上的3D檢測結果。當作者的方法應用于CenterPoint 和FSD 生成的軌跡提議時，觀察到了顯著的改進。與之前的最先進方法MoDAR 相比，作者的方法在1幀CenterPoint上取得了更大的提升（例如，8.6%對3.2%的L1 AP改進）。將作者的方法應用于更先進的檢測器，1幀FSD ，仍然可以獲得顯著的改進。這種增強與將MoDAR添加到類似性能的檢測器（即，3幀SWFormer ）相比更為顯著。此外，通過將作者的方法應用于7幀FSD，作者實現了新的在線檢測最先進結果，在L1和L2上分別達到了83.3% AP和75.7% APH。這表明作者的方法在對象檢測中有效地聚合了長序列信息，除了形狀補全。此外，作者的方法可以無縫集成到其他最先進的檢測器中，而無需在訓練數據中重新訓練它們各自的軌跡。

范圍細分 遠距離對象由于稀疏性更難以檢測。作者進一步分析了不同距離范圍的檢測性能。如表3所示，隨著距離的增加，作者對基線檢測器的改進變得更加顯著。這表明作者的方法通過形狀補全有效地解決了遠距離對象的稀疏性問題。

模型分析

在這一部分，作者評估了作者方法中不同設計選擇的性能，并分析了它們對形狀補全和檢測性能的影響。

占用任務幫助檢測任務 最后，作者評估了占用任務對檢測性能的影響。作者從完整模型中移除了OCC頭，并僅使用檢測損失重新訓練。如表4最后一行所示，缺少占用解碼器會導致檢測性能顯著下降。這表明占用補全任務不僅明確豐富了對象形狀表示，而且還通過為潛在空間提供額外的幾何信息來增強檢測。

訓練和測試的長度 表5顯示了序列長度對作者方法性能的影響。作者使用8幀和16幀軌跡重新訓練作者的方法。如表5的前3行所示，使用更長的序列進行訓練可以帶來更好的結果。然而，當序列長度翻倍時，性能提升逐漸減少。為了在性能和計算成本之間取得平衡，作者將默認訓練長度設置為32。

計算效率 表6顯示了所提出的形態解碼器的時間和GPU內存成本。由于對象軌跡的長度不同，作者方法的運行時間也可能因不同的輸入而異。此外，解碼的對象中心占用的維度取決于檢測到的邊界框。為了公平測試運行時間，作者將輸入長度標準化為32，并將解碼查詢的數量設置為4096。如表6所示，形態解碼器僅引入了輕微的計算成本增加，展示了其效率。

總結和局限

局限

從技術角度講，作者的自動占用注釋依賴于剛體假設，這可能不適用于可變形物體。因此，作者的實驗專注于車輛對象，因為它們是剛性的。盡管作者的方法可以應用于其他可變形對象類別，但由于真實數據中的大量噪聲，對可變形物體的準確評估無法得到保證。

總結

在這項工作中，作者引入了一個新任務，以對象為中心的占用，它擴展了傳統的對象邊界框表示，以提供對對象形狀的更詳細描述。與場景級對應物相比，對象中心占用通過關注前景對象，在大場景中實現了更高的體素分辨率。為了促進對象中心占用學習，作者使用激光雷達數據和Waymo Open Dataset (WOD)中的框注釋構建了一個對象中心占用數據集。進一步提出了一個基于序列的占用補全網絡，該網絡從作者的數據集中學習，以從不準確的對象提議中補全對象形狀。該方法在WOD上的形狀補全和對象檢測任務上都取得了最先進的性能。