本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

助力重建非漫反射物體

盡管開創性的NeRF方法在各自領域達到了頂級性能，但根據觀察對象的材料特性，它們可能會產生不滿意的結果。例如，在處理金屬兔模型時會產生幾何失真、在重建具有鏡面表面的烤面包機時會產生偽影等。

現有的3D重建算法在具有漫反射表面的物體上幾乎可以達到完美的結果，但存在金屬、玻璃等具有復雜光學特性的物體時，它們卻持續失敗。這是因為這些物體上的光折射、傳輸和鏡面反射的復雜性導致了多視圖間的顏色不一致，從而違反了現有方法的基本假設。

在為非漫反射物體開發3D重建方法的過程中，一個關鍵障礙是缺乏覆蓋廣泛復雜材料和物體形狀的標準化數據集。

為了應對獲得具有真實3D形狀的大規模多樣集合的挑戰，全面的數據集OpenMaterial應運而生，具有多種具有挑戰性的材料、多樣的形狀和光照條件。利用基于物理的渲染生成了具有卓越逼真度的密集多視圖圖像。OpenMaterial包含295種不同類型的材料，涵蓋七個類別，包括導體、介電體和塑料。其中包括294種具有實驗室測量折射率（IOR）值的真實材料，以及一種理想化的漫反射材料。數據集還包括1001種獨特的幾何形狀，以確保形狀的多樣性，并具有723種不同的環境光照條件，復制了廣泛的室內和室外場景。

OpenMaterial是首個專門設計用于定量評估針對具有復雜材料的物體的3D重建方法的數據集，其鏈接為：https://christy61.github.io/openmaterial.github.io/

數據集組成

OpenMaterial的目標是使現有3D重建算法能夠在各種材料、形狀和光照條件下進行全面評估。涵蓋了七種材料類型：漫反射、導體、介電體、塑料、粗糙導體、粗糙介電體和粗糙塑料，總共295種不同類型。它包含1001個場景，每個場景都有一個獨特的形狀和一個隨機選擇的材料。光照條件也是從723種可用的高動態范圍成像（HDRI）環境光照選項中隨機選擇的。為了創建一個平衡的數據集，每個七種材料類別都在143個場景中表示。除了來自多個相機位置的多視角圖像外，數據集還包括3D網格模型、材料注釋、相機位置、深度圖和物體掩碼，提供了豐富的數據集用于深入分析和測試。

基于物理的渲染

在現實世界中，每種材料與光的相互作用方式各不相同，在圖像中呈現出特定的外觀和挑戰。雙向散射分布函數（BSDF）在渲染過程中起著至關重要的作用，它以詳細且物理準確的水平定義了光與表面的相互作用。BSDF既包含了雙向反射分布函數（BRDF）描述的光在表面上的反射方式，也包含了雙向透射分布函數（BTDF）描述的光在材料中的傳輸方式。這種雙重能力使得能夠準確模擬復雜的光學特性，如鏡面反射、光澤和透射。一旦為一種材料建立了BSDF，渲染引擎就可以計算光在表面不同點的反射和傳輸的顏色和強度。最終圖像中每個像素的RGB值通過整合來自所有入射方向的光，并考慮BSDF定義的材料特性，以逼真地捕捉材料在不同光照條件下的外觀。

形式上，給定物體表面某點的法線方向ω、入射光方向ω以及出射光方向（反射光方向為ω，折射光方向為ω），物體表面材料的BSDF  可以表示為BRDF  和BTDF  之和，即：

微表面反射和折射的BRDF和BTDF[2] 定義如下：

其中，ω 表示ω 和ω 之間的中間向量。對于BRDF，ωωωωω；對于BTDF，ω 的定義不同，ωηωηω。對于理想反射和理想折射，ω 與法線方向ω 相同。 由菲涅耳方程（Fresnel's equation）確定， 是陰影遮蔽函數，這里我們定義為Smith的陰影遮蔽函數， 是微面法線分布函數。最后，η 和η 分別代表初始介質和透射介質的折射率，其中一個在我們的設置中為空氣。

為了捕捉現實世界材料的特性，我們的模擬采用了實驗室測量的折射率（IOR）。出射光的角度（斯涅爾定律）和強度（菲涅耳方程）均基于IOR進行精確計算。通過將這些公認的物理定律與現實世界測量的IOR相結合，我們為我們的數據集建立了堅實的基礎，確保高度準確和逼真的模擬效果。

斯涅爾定律

設θ、θ、θ分別表示ω和ω之間的角度、ω和ω之間的角度以及ω和ω之間的角度。對于鏡面反射，直接有θθ。相比之下，對于透明材料中的傳輸光，角度θ可以通過斯涅爾定律使用IOR計算，如下所示：

菲涅耳方程

一旦確定了出射光的角度，可以使用菲涅耳方程確定在兩種介質界面上反射和傳輸的精確光量。對于反射光量，菲涅耳方程表示為：

傳輸光的數量，如通過介電材料的光，可以計算為 ，反映了能量守恒原理。對于導體，復雜的IOR包含一個虛部，用于計算光的吸收，具體細節可以在附錄中找到。

材料類型

導體具有自由電子，可以在材料內部自由移動。受到光照時，這些自由電子吸收并重新輻射電磁波，導致大部分入射光被反射，如圖1所示。這種高反射率是金屬通常表現出光亮反射表面的原因，如圖2所示。任何穿透表面的光在前0.1微米內被吸收，迅速轉化為熱量，使金屬變得不透明。由于傳輸光快速被吸收并轉化為熱量，我們在渲染過程中選擇僅使用BRDF來模擬反射組件，從而簡化導體表面的模擬。

介電體如玻璃和純水缺乏自由電子，這對于電導率是必需的；因此，與導體不同，光能夠穿過這些材料而不被吸收，如圖1所示。這一特性賦予它們顯著的透射特性和透明外觀，如圖2所示。光與介電材料的相互作用受其透明度和內部結構的影響，可能導致傳輸或反射。我們在模擬中使用BRDF來模擬反射，使用BTDF來模擬傳輸。

塑料由有機化合物衍生的聚合物屬于介電體的一個子類，表現出類似的反射和折射特性。它們獨特的分子結構，加上內部顏料的加入，促進了漫反射，如圖1所示，導致表面顯示出光亮的鏡面反射和柔和的外觀，如圖2所示。這些顏料選擇性地吸收和傳輸各種光波長，創造出豐富的顏色光譜。在模擬中，塑料被建模為具有反射和折射外層與漫反射內層相結合，以提供其光相互作用的細致且物理準確的描述。我們分別使用BRDF和BTDF來模擬反射和傳輸。

漫反射材料在模擬中通常被理想化，以突出其均勻散射接收到的光照的特性，使表面在任何觀看方向上看起來一致。為了準確地模擬這些材料，我們為BRDF分配了一個固定的反射率參數。為了增強在不同背景下的可見性，每種顏色被分配一個隨機的灰度值，范圍從0.15到0.85，確保材料在背景中顯著突出。

微表面模型。鑒于BSDF，我們利用微表面模型來真實地模擬影響光散射的微觀表面細節。具體來說，我們通過選擇適當的微表面分布來適應光滑和粗糙的表面。對于導體、介電體和光滑表面的塑料，我們采用狄拉克δ分布ωδωω，該分布僅在表面法線方向ω處非零。這種選擇確保了銳利和精確的反射和折射，如圖2所示，有效地模擬了拋光金屬、玻璃和塑料的真實外觀。

對于具有粗糙表面的材料，包括粗糙導體、介電體和塑料，我們選擇Trowbridge-Reitz（GGX）分布來模擬光滑的鏡面反射和漫射折射。該分布的特點是其受粗糙度參數α影響的厚尾，更準確地模擬了這些粗糙表面的復雜光散射，增強了渲染材料的物理真實性和逼真度，如圖2所示。

實驗室測量的折射率（IOR）

為了確保圖像在物理上準確地模擬現實世界的材料，從光學科學文獻中記錄的實驗室測量中得出IOR值。因此模擬會根據不同波長的IOR變化調整材料的特性。

對于導體，IOR在不同的光波長下有所變化。例如，金在較短波長（接近藍光）下吸收更多光，在較長波長（紅光譜）下反射更多光，因此在圖像中最終呈現出金黃色。因此，在可見光譜范圍內（380 nm到780 nm）每5 nm采樣一次光譜數據。這使我們能夠通過捕捉其在不同波長下獨特的光吸收來準確模擬其特征外觀。相比之下，對于介電體和塑料，IOR隨波長變化的幅度很小，采用589.29 nm的代表性折射率。這種簡化提高了渲染效率，同時不犧牲最終輸出的準確性，確保材料能夠以高保真度且高效地表現出來。

形狀和網格

數據集包含從Objaverse-1數據集中精心挑選的1001個獨特形狀[3]。為了確保形狀的多樣性和復雜性，選擇了從簡單物體（如吉他）到復雜物體（如由各種人類姿態和復雜面部表情組成的噴泉雕像）等各種形狀。圖3展示了一些例子。這些形狀隨后被隨機分配到七種材料類別中。

場景照明和相機

為了獲得高多樣性的光照條件，使用了723種HDRI（高動態范圍成像）環境圖，涵蓋了室內和室外場景。這些HDRI圖像精確捕捉了現實環境中的全光譜光強度。這不僅增加了渲染圖像的逼真度，還能在物體上展示復雜多變的反射和折射模式，如圖4所示。這些HDRI圖提供的廣泛光照場景對于全面評估算法在處理多樣和具有挑戰性的光照條件下的效果至關重要。

為了消除尺度偏差，將對象大小標準化到單位球體內。使用斐波那契網格在上半球上采樣相機位置，確保均勻分布和不重疊覆蓋。然后將這些相機位置分為不同的訓練（50）和測試（40）視點。所有高分辨率圖像（1600x1200像素）都使用Mitsuba渲染，并存儲在標準Blender格式中，并支持轉換為COLMAP格式，方便研究社區的使用。

基線實驗

總結一下

OpenMaterial是首個旨在定量評估復雜材料對象3D重建方法的大規模數據集，具有豐富的形狀、材料類型和光照條件。數據集不僅支持全面的評估，還有助于分析現有算法處理挑戰性材料的能力。

主要局限：數據集的擴展。盡管從理論上講，可以通過整合現有開源數據集中的模型來增加形狀的多樣性，但許多模型的質量達不到現實世界的標準。這需要手動選擇以確保真實感，如果對大數據量的需求增加，這一過程可能成為瓶頸。