高亮反光終結者？谷歌NeRF-Casting：光線追蹤就能搞定！
NeRF不再“畏懼”近處高光反射
早期的NeRF變體使用多層感知器（MLPs）從三維坐標映射到體積密度和視點相關的顏色，但是表示詳細的三維幾何和顏色所需的大型MLPs訓練和評估速度極慢。最近的工作專注于通過用類似體素網格的數據結構或網格和小型MLPs的組合替代大型MLPs，使NeRF更加高效。雖然可以擴展到表示詳細的大規模場景，但其優勢僅限于三維幾何和主要的漫反射顏色。
擴展NeRF建模現實的視點相關外觀的能力仍然是一個挑戰。當前先進的用于閃亮物體視圖合成的模型在兩個方面存在限制：
- 只能合成遠處環境光照的準確反射，而在渲染近處場景內容的逼真反射方面表現不佳。
- 依賴大型MLPs來表示任何點的視點相關出射輻射，難以擴展到具有詳細反射的更大現實場景。
NeRF-Casting是一種通過將光線追蹤引入NeRF渲染模型來解決這些問題的方法。其主要涉及3個領域：
- 反射建模：傳統的反射建模方法使用物理定律和基于圖像的技術來表示表面反射特性。近年來，神經網絡被用于學習反射特性，特別是在復雜材料和光照條件下。
- 光線追蹤：光線追蹤是一種廣泛使用的計算機圖形技術，通過模擬光線與物體表面的交互來生成逼真的圖像。光線追蹤技術已被用于生成高質量的反射和折射效果，但計算復雜度高。
- 三維成像：三維成像技術涉及從多視圖數據生成三維表示。NeRF和其他神經網絡方法通過學習場景的三維幾何和顏色分布，生成新視圖，從而在三維成像領域取得了重大進展。
NeRF-Casting不是在每個相機射線的點上查詢昂貴的MLP以獲得視點相關的外觀，而是從這些點投射反射射線到NeRF幾何中，采樣正確抗鋸齒的反射場景內容特征，并使用一個小型MLP將這些特征解碼為反射顏色。將光線投射到恢復的NeRF中自然地合成了近處和遠處內容的一致反射。此外，通過光線追蹤計算外觀減少了在場景中的每個點用大型MLP表示高度詳細的視點相關函數的負擔。
感興趣的朋友可以看視頻效果：https://nerf-casting.github.io
模型細節
NeRF-Casting的三個主要目標：
- 希望在不依賴計算量大的MLP評估的情況下建模出準確、詳細的反射。
- 希望僅投射少量的反射光線。
- 希望最小化在這些反射光線的每個點上查詢我們表示所需的計算量。
三維體積密度和特征表示基于Zip-NeRF[2]：使用多尺度哈希網格來存儲三維特征，一個小型MLP（1層，寬度64）將這些特征解碼為密度，一個較大的MLP（3層，寬度256）將這些特征解碼為顏色。這意味著沿光線查詢樣本的密度和特征相對便宜。考慮到這些約束，按照以下流程來渲染鏡面外觀：
- 沿每條相機光線查詢體積密度，以計算光線的預期終止點和表面法線。
- 在反射方向上通過預期終止點投射一個反射錐。
- 使用一個小型MLP將累積的反射特征與其他采樣量（例如漫反射顏色特征和每個樣本的混合權重）結合起來，為沿光線的每個樣本生成一個顏色值。
- 將這些樣本和密度進行阿爾法合成，得到最終顏色。
反射錐追蹤
然后通過反射初始光線關于表面法線來構建一個新的反射光線方向
圓錐形反射特征
現在已經定義了一個vMF分布，涵蓋了反射射線，目標是估計在vMF分布上的預期體積渲染特征，然后將其解碼為反射顏色。這個預期特征可以寫成：
使用蒙特卡洛方法對隨機采樣的射線進行積分估計是非常昂貴的，因為每個樣本都需要沿著射線進行體積渲染。受Zip-NeRF的啟發，使用一小組代表性樣本結合特征減權來近似這個積分。然而與Zip-NeRF不同的是，我們將這兩個操作都在二維方向域中執行，而不是在三維歐幾里得空間中。
方向采樣
反射特征降權
上文描述的方向采樣有助于選擇一個小的代表性射線集合進行平均。然而，對于具有高粗糙度的表面，采樣的射線可能相對于底層的3D網格單元格之間距離較遠。這意味著方程9中的特征可能存在偽影，并且反射射線方向的微小變化可能導致外觀上的大幅變化。
為了防止這種情況發生，將Zip-NeRF中的“特征降權”技術調整到方向設置中。通過將與vMF錐相比較小的體素對應的特征乘以一個小的乘數來實現這一點，減小它們對渲染顏色的影響。按照Zip-NeRF的做法，定義點 x 處的降權特征為：
顏色解碼器
顏色解碼器的作用是為沿射線的每個采樣點分配一種顏色，使用兩種顏色分量的凸組合：
第一個顏色分量Cv類似于典型的 NeRF 視角相關外觀模型：
第二個分量Cr，旨在模擬光澤外觀，計算如下：
幾何表示和正則化
效果欣賞
總結一下
NeRF-Casting是一種使用神經輻射場（NeRF）渲染包含高光物體的場景的方法。
方法：將反射錐從場景中的表面反射并通過NeRF進行追蹤，并結合了一套新穎的技術來抗鋸齒這些反射，從而能夠合成遠處和近場內容的準確詳細反射，這些反射在表面上始終如一且平滑地移動。
討論：在定量上優于現有的視圖合成技術，特別是對于顯示詳細鏡面反射的光滑表面。定性的視覺改進在圖像指標方面的定量改進遠遠超過了。尤其值得注意的是，該方法合成的反射平滑而一致的運動，比基線方法呈現的視角相關外觀更加逼真。這表明標準的圖像誤差度量（PSNR、SSIM等）不足以評估視角相關外觀的質量。
