3DGS (3D Gaussian Splatting) 技術(shù)憑借在新視角合成與 3D 重建中實(shí)現(xiàn)的實(shí)時照片級真實(shí)感渲染，已成為研究熱點(diǎn)。然而，現(xiàn)有方法在建模含動態(tài)物體的場景時精度不足，常導(dǎo)致渲染圖像出現(xiàn)偽影。

在最近的一項(xiàng)研究中，來自中山大學(xué)、深圳市未來智聯(lián)網(wǎng)絡(luò)研究院、港中深的研究者提出魯棒性解決方案 RobustSplat，其核心設(shè)計(jì)包含兩點(diǎn)：一是首創(chuàng)延遲高斯生長策略，在允許高斯分裂 / 克隆前優(yōu)先優(yōu)化靜態(tài)場景結(jié)構(gòu)，從而減少優(yōu)化初期對動態(tài)物體的過擬合；二是設(shè)計(jì)尺度級聯(lián)掩碼引導(dǎo)方法，先利用低分辨率特征相似度監(jiān)督進(jìn)行可靠的初始動態(tài)掩碼估計(jì)（借助其更強(qiáng)的語義一致性與抗噪聲特性），再逐步過渡到高分辨率監(jiān)督，以實(shí)現(xiàn)更精準(zhǔn)的掩碼預(yù)測。

• 論文標(biāo)題：RobustSplat: Decoupling Densification and Dynamics for Transient-Free 3DGS
• 論文鏈接：https://arxiv.org/abs/2506.02751
• 論文主頁：https://fcyycf.github.io/RobustSplat
• 代碼鏈接：https://github.com/fcyycf/RobustSplat

研究動機(jī)

我們通過分析揭示了高斯致密化 (densification) 在 3D Gaussian Splatting 中的雙重作用機(jī)制。具體來說，致密化過程在增強(qiáng)場景細(xì)節(jié)表達(dá)方面具有顯著優(yōu)勢，但同時也會促使模型過早擬合動態(tài)區(qū)域，導(dǎo)致偽影和場景失真。這一發(fā)現(xiàn)表明，傳統(tǒng)的致密化策略在存在有動態(tài)物體的場景建模中存在依賴性風(fēng)險，即其所帶來的細(xì)節(jié)提升可能以犧牲靜態(tài)區(qū)域的重建質(zhì)量和引入偽影為代價。

因此，本文的研究動機(jī)源于對該分析的深入理解，意在通過調(diào)節(jié)致密化過程的引入時機(jī)，有效平衡場景的靜態(tài)結(jié)構(gòu)表達(dá)與動態(tài)干擾的抑制。致密化既是優(yōu)化細(xì)節(jié)的關(guān)鍵因素，也是動態(tài)干擾的放大器，為此提出「延遲高斯生長」策略，通過延后致密化過程實(shí)現(xiàn)靜態(tài)部分的準(zhǔn)確重建，同時結(jié)合多尺度掩碼引導(dǎo)，系統(tǒng)抑制動態(tài)偽影，推動在復(fù)雜場景中實(shí)現(xiàn)魯棒、細(xì)節(jié)豐富的 3D 場景重建。

方法

瞬態(tài)掩碼估計(jì)

網(wǎng)絡(luò)架構(gòu)：采用含兩層線性層的 MLP (Mask MLP)，以圖像特征為輸入，通過 Sigmoid 函數(shù)輸出逐像素的瞬態(tài)掩碼 Mt（取值范圍 [0, 1]，0 表示瞬態(tài)區(qū)域，1 表示靜態(tài)區(qū)域）。

特征選擇：選用 DINOv2 特征作為輸入，原因是其在語義一致性、抗噪性和計(jì)算效率間取得很好的平衡。對比之下，Stable Diffusion 特征語義信息更強(qiáng)但計(jì)算成本高，SAM 特征邊界精度高卻易漏檢瞬態(tài)物體的陰影區(qū)域，而 DINOv2 特征能穩(wěn)定支撐掩碼預(yù)測。

監(jiān)督設(shè)計(jì)：掩碼 MLP 的優(yōu)化結(jié)合了圖像殘差損失和特征余弦相似度損失：使用基于渲染圖像與真實(shí)圖像的光度差異，捕捉像素級動態(tài)干擾，作為基礎(chǔ)監(jiān)督信號。在此基礎(chǔ)上，將渲染圖像與真實(shí)圖像的 DINOv2 特征余弦相似度映射至 [0, 1] 范圍作為特征監(jiān)督，以增強(qiáng)語義級動態(tài)區(qū)域識別。

延遲高斯生增長策略

延遲高斯生長是 RobustSplat 針對 3DGS 優(yōu)化中瞬態(tài)物體過擬合問題設(shè)計(jì)的核心策略，其核心思想是推遲高斯致密化過程（分裂 / 克隆操作），優(yōu)先完成靜態(tài)場景結(jié)構(gòu)的優(yōu)化，為掩碼學(xué)習(xí)提供更穩(wěn)定的基礎(chǔ)。

掩碼正則化：掩碼正則化是針對早期優(yōu)化階段掩碼估計(jì)不準(zhǔn)確問題設(shè)計(jì)的關(guān)鍵策略，核心目標(biāo)是減少靜態(tài)區(qū)域被誤分類為瞬態(tài)區(qū)域的風(fēng)險，確保 3DGS 優(yōu)先優(yōu)化靜態(tài)場景結(jié)構(gòu)。

掩碼學(xué)習(xí)的總損失：

尺度級聯(lián)掩碼引導(dǎo)

先利用低分辨率特征相似性監(jiān)督進(jìn)行初始瞬態(tài)掩碼估計(jì)，借助其強(qiáng)語義一致性和抗噪性；再過渡到高分辨率監(jiān)督，實(shí)現(xiàn)更精確的掩碼預(yù)測，降低靜態(tài)區(qū)域誤分類。

實(shí)驗(yàn)

下圖分別展示了在 NeRF On-the-go 和 RobustNeRF 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。與 3DGS、SpotLessSplats、WildGaussians 等基線方法相比，RobustSplat 在 PSNR、SSIM、LPIPS 等指標(biāo)上全面領(lǐng)先。

總結(jié)

通過實(shí)驗(yàn)分析發(fā)現(xiàn)，高斯致密化過程雖然提升了場景細(xì)節(jié)的捕捉能力，但也會生成額外的高斯來建模瞬態(tài)干擾，從而無意中導(dǎo)致了渲染偽影的產(chǎn)生。

RobustSplat 通過延遲高斯生長策略和尺度級聯(lián)掩碼引導(dǎo)方法，優(yōu)化 3DGS 以減少瞬態(tài)物體導(dǎo)致的渲染偽影。

實(shí)驗(yàn)表明該方法在 NeRF On-the-go 和 RobustNeRF 數(shù)據(jù)集上，相比現(xiàn)有基線方法在各項(xiàng)指標(biāo)上全面領(lǐng)先，能處理含多樣瞬態(tài)物體的復(fù)雜場景并保留細(xì)節(jié)。