本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

論文：ICCV 2023 https://arxiv.org/pdf/2308.12967.pdf
作者單位：Georgia Institute of Technology;Toyota Research Institute

近期的隱式神經表示在新視角合成方面取得了很好的結果。然而，現有的方法需要從大量視角進行昂貴的場景優化，然而現實世界中感興趣的對象或背景僅從很少的視角觀察到，因此限制了這些方法在真實世界的無限城市環境中的應用，為了克服這一挑戰，本文引入了一種名為NeO 360的新方法，用于稀疏視角合成室外場景的神經場表示。NeO 360是一種通用方法，可以從單個或少量定姿的RGB圖像重建360°場景。該方法的精髓在于捕捉復雜現實世界室外3D場景的分布，并使用混合的圖像條件三平面表示，可以從任何世界點進行查詢。本文的表示結合了基于體素和鳥瞰圖（BEV）表示的優點，比每種方法都更有效和表達豐富。NeO 360的表示使本文能夠從大量的無界3D場景中進行學習，同時在推理過程中對新視角和新場景具有普適性，甚至可以從單個圖像中進行推理。本文在提出的具有挑戰性的360°無界數據集NeRDS 360上演示了本文的方法，并展示了NeO 360在新視角合成方面優于現有的通用方法，同時還提供了編輯和合成能力。項?主頁：zubair-irshad.github.io/projects/neo360.html

主要貢獻有哪些？

本文的?法擴展了 NeRF++ 使其具有可推廣性。?法的核?是以三平?形式表示的局部特征。這種表示被構建為三個垂直的交叉平?，其中每個平?從?個?度對 3D 環境進?建模，通過合并它們可以實現 3D 場景的全?描述。NeO 360 的圖像條件三平?表示有效地對來?圖像級特征的信息進?編碼，同時為任何世界點提供緊湊的可查詢表示。本文將這些特征與剩余局部圖像級特征相結合，從?量圖像中優化多個?界 3D 場景。NeO 360 的 3D 場景表示可以為完整的 3D 場景構建強?的先驗，從?只需?個擺好姿勢的 RGB 圖像即可實現對戶外場景進??效的 360°新穎的視圖合成。全新?型 360°?界數據集包含 3 個不同地圖上的 70 多個場景。本文在 few-shot 新穎視圖合成和基于先驗的采樣任務中證明了本文的?法在這個具有挑戰性的多視圖?界數據集上的有效性。除了學習完整場景的強? 3D表示之外，本文的?法還允許使? 3D ground truth邊界框對光線進?推理時間修剪，從?能夠從?個輸?視圖進?組合場景合成。總之，本文做出以下貢獻：

• 適?于室外場景的通? NeRF 架構基于三平?表示來擴展 NeRF 公式，以實現 360 度的有效few-shot新穎視圖合成360°?界的環境。
• ?規模合成360°數據集，稱為 NeRDS 360，?于 3D 城市場景理解包含多個對象，通過密集的相機視點注釋捕獲?保真室外場景。
• 本文提出的?法顯著優于 NeRDS 360 數據集上的小樣本新穎視圖合成任務的所有基線， 有著 3-view novel-view 合成任務的 1.89 PNSR 和 0.11 SSIM 絕對提升值。

NeRDS 360 多視角數據集：

為什么構建這個數據集？

• 獲取精確的地面真實 3D 和 2D 信息（如更密集的視點標注、3D 邊界框、語義和實例圖）具有挑戰性，因此可用于訓練和測試的戶外場景非常有限。
• 之前的方案主要集中在使用現有的戶外場景數據集進行重建，這些數據集是安裝在自車載體上的攝像頭捕獲的全景視圖。在相鄰攝像頭視圖之間幾乎沒有重疊部分，而這種特征已被證明對于訓練 NeRF 和多視圖重建方法很有用。隨著自車快速移動以及感興趣的對象在僅幾個視圖中被觀察到（通常小于 5 個），針對這些場景優化基于對象的神經輻射模型變得更加具有挑戰性。

數據集是怎樣的？

為了應對這些挑戰，本文提出了?個?于 3D 城市場景理解的?規模數據集。與現有數據集相?，本文的數據集由 75 個具有不同背景的戶外城市場景組成，包含超過 15,000 張圖像。這些場景提供 360°半球形視圖，捕捉各種照明條件下照亮的不同前景物體。此外，本文的數據集包含不限于前向駕駛視圖的場景，解決了先前數據集的局限性，例如攝像機視圖之間有限的重疊和覆蓋范圍。?于泛化評估的最接近的現有數據集是 DTU（80 個場景），主要包含室內物體，不提供多個前景物體或背景場景。

數據集如何生成的？

本文使? Parallel Domain ?成合成數據以渲染?保真 360° 場景。本文選擇 3 個不同的地圖，即 SF 6thAndMission, SF GrantAndCalifornia and SF VanNessAveAndTurkSt 并在所有 3 個地圖上采樣 75 個不同場景作為本文的背景（3 個地圖上的所有 75 個場景都是彼此顯著不同的道路場景，在城市的不同視?拍攝）。本文選擇 50 種不同紋理的 20 輛不同的汽?進?訓練，并從每個場景中的 1 到 4 輛汽?中隨機采樣進?渲染。本文將此數據集稱為NeRDS 360: NeRF for Reconstruction, Decomposition and Scene Synthesis of 360° outdoor scenes。訓練集：本文總共?成了 15k 個渲染圖。通過在距汽?中?固定距離的半球形圓頂中對 200 個攝像機進?采樣。測試集：本文提供了 4 輛不同汽?和不同背景的 5 個場景進?測試，其中包括 100 個均勻分布在上半球的攝像機，與訓練時使?的攝像機分布不同。

本文使?不同的驗證相機分布來測試本文的?法泛化到訓練期間未?過的視點以及未?過的場景的能?。由于遮擋、背景多樣性以及具有各種閃電和陰影的渲染對象，本文的數據集和相應的任務極具挑戰性。本文的任務需要重建 360° 使?少量觀察（即 1 到 5）的完整場景的半球形視圖，如Figure 5 中 的紅?攝像機所示。?使?所有 100 個半球視圖進?評估，如Figure 5 中的綠?攝像機所示。因此，本文的任務需要強?的先驗知識來合成室外場景的新穎視圖。

方法：

給定新場景的?個視圖的 RGB 圖像，NeO 360 進行新穎視圖合成并渲染360度場景的3D場景表示。為了實現這??標，本文采?了由三平?表示組成的混合局部和全局特征表示，可以查詢任何世界點。形式上，如Figure 1所示，給定?些輸?圖像，的?個復雜的場景，其中n=1到5、以及他們相應的相機位子，γγγ其中γ，NeO 360推斷近遠背景的密度和輻射場（類似于 NeRF++），兩者的主要區別是NeO 360使?混合局部和全局特征來調節輻射場解碼器，?不是像經典 NeRF 公式中所采?的那樣僅使?位置和觀察?向。

Image-Conditional Triplanar Representation（圖像條件三平?表示）

雖然NeRF能夠產??保真場景合成，但局限于很難推?到新穎場景。為了有效地使?場景先驗并從?量?界 360° 數據中學習，本文提出了?種圖像條件三平?表示，這種表示能夠對具有完整 表現?的 3D 場景進??規模建模，?不會忽略其任何維度（如在 2D 或基于 BEV 的表示中）并避免??復雜性（如在基于體素的表示中）。本文的三平?表示由三個軸對?的正交平?組成,其中是空間分辨率，每個平面具有維特征。為了從輸?圖像構建特征三平?，方法如下：

• 本文?先使?經過 ImageNet 預訓練的 ConvNet backbone E提取低分辨率空間特征表示，其將原始輸入的圖像轉化為長寬分別變為1/2的特征圖。然后根據相機位姿和內參沿著每條射線反投影為3D特征體數據。
• 由于沿相機光線的所有特征在?格中都是相同的，因此本文通過額外的 MLP 進?步學習各個特征的深度，，它將?格中的輸入體數據特征、在相機坐標系中的網格位置和在世界坐標系下的網格的方向用concatenated連接轉換到相機坐標下輸出深度編碼特征。接下來通過在獨立的體特征維度上使用可學習的權重獲得三平?特征：其中的代表MLPs特征聚合，代表在維度累加之后的softmax得分。將特征投影到各個平?的動機之?是避免 3D CNN 的計算??復雜性，同時? BEV 或 2D 特征表示更具表現?但該類方法?基于體素的表示在計算上更有效，但省略  軸會損害它們的表達能?。相反，本文依靠 2D 卷積將構建的圖像條件三平?轉換為新的  通道輸出，其中、同時對平?的空間維度進?上采樣到圖像特征空間。學習到的卷積充當修復?絡來填充缺失的特征。本文的三平?表示充當全局特征表示，因為直觀上，從不同?度檢查時可以更好地表示復雜場景。這是因為每個都可以提供補充信息，可以幫助更有效地理解場景。

Deep Residual Local Features (深層殘差局部特征)

對于接下來的輻射場解碼階段，本文還使?特征作為渲染 MLP 的殘差連接。本文獲得從通過投影世界點使?其相機參數γ進?源視圖，并通過雙線性插值在投影像素位置提取特征。請注意，局部和全局特征提取路徑共享相同的權重θ和編碼器。本文發現，對于復雜的城市?界場景，僅使?局部特征導致遮擋和遠處 360° 視角表現不佳。另???，僅使?全局特征會導致幻覺。本文的?法有效地結合了局部和全局特征表示，從?產?更準確的 360° 從最?的?限場景的單?視圖進?視圖合成。

Decoding Radiance Fields（解碼輻射場）

輻射場解碼器是用來預測顏?和密度σ對于任意 3D 位置和任意觀看?向從三平?和殘差特征 。本文使?模塊化實現的渲染 MLP。MLP 表示為：

其中，通過正交投影點進?每個平?并執?雙線性采樣獲得，且由三個雙線性采樣向量連接成

 。本文使用輸入圖像的視圖空間來建立本文的坐標系，然后在這個特定的坐標系中展示位置和攝像機射線。Near and Far Decoding MLPs類似于NeRF++，本文定義了兩個渲染MLP來解碼顏?和密 度信息，如下所示：

本文定義?個坐標重映射函數 (M) 類似于原始 NeRF++收縮位于單位球體之外的 3D 點, 這有助于更多對象在渲染 MLP 中獲得較低的分辨率。在查詢階段的三平?表示，本文使?在現實世界坐標中的?收縮坐標，因為本文的表示是平??不是球體。對于渲染，本文使?各?的放縮后的坐標?于調節 MLP。Optimizing radiance fields for few-shot novel-view synthesis給定源視圖的局部和全局特征，在完成體積渲染和合成近處和遠處背景后，使用專用的解碼顏色和強度近背景和遠背景MLPs解碼器和

:?標圖像中采樣的像素位置:從近和遠的MLPs渲染輸出中獲得的合成顏色。

Scene Editing and Decomposition（場景編輯與分解）

給定從檢測器獲得的 3D 邊界框，本文可以通過簡單地對對象的 3D 邊界框內的光線進?采樣，獲得單個對象和背景輻射率，并在這些特定的處雙線性插值特征在本文的三平?特征?格中的位置，使得編輯和重新渲染單個對象變得簡單。本文通過考慮對象 3D 邊界框 內的特征來執?準確的對象重新渲染，以渲染前景MLP。本質上，本文將組合的可編輯場景渲染公式劃分為渲染對象、近背景和遠背景。

實驗：

baselines：

1. NeRF：Vanilla NeRF 方法過擬合給定 RGB 圖像的場景
2. PixelNeRF ?種可推?的 NeRF 變體，利?局部圖像特征進?少鏡頭新穎視圖合成
3. MVSNeRF：通過從源圖像構建cost-volume獲得的局部特征來擴展 NeRF 進?少視圖合成
4. NeO 360：本文提出的架構將局部和全局特征結合起來，用于通用場景表示學習。

結論：

在本?中，本文提出了 NeO 360，這是 NeRF ?法的可推?擴展，?于?界360°場景。本文的?法依賴于圖像條件三平?表示來進?少量新穎的視圖合成。為了為?界場景建?強?的先驗，本文提出了?個?規模數據集 NERDS 360 來研究 360 度設置中的視圖合成、重建和分解。本文的?法的性能明顯優于其他可推?的 NeRF 變體，并且在新場景上進?測試時實現了更?的性能。對于未來的?作，本文將探索如何使?所提出的?法來構建較 少依賴標記數據的先驗，例如推理過程中的 3D 邊界框，?是依賴運動線索在沒有標記數據的情況下進?有效的場景分解。

原文鏈接：https://mp.weixin.qq.com/s/rjJlJbbb_oFah5nZoSYQwA