為何前饋3DGS的邊界總是“一碰就碎”？PM-Loss用“3D幾何先驗(yàn)”來解
文章鏈接: https://arxiv.org/abs/2506.05327
項(xiàng)目主頁: https://aim-uofa.github.io/PMLoss
代碼鏈接: https://github.com/aim-uofa/PM-Loss
在新視角合成（Novel View Synthesis, NVS）技術(shù)飛速發(fā)展的今天，3D高斯?jié)姙R（3D Gaussian Splatting, 3DGS）以其出色的實(shí)時渲染能力和照片級的視覺效果，成為了該領(lǐng)域的主流技術(shù)。為了擺脫傳統(tǒng)3DGS“逐場景優(yōu)化”的束縛，前饋式（Feed-forward）3DGS應(yīng)運(yùn)而生，它僅需一次網(wǎng)絡(luò)推理即可完成場景重建，極大地提升了應(yīng)用效率。
然而，一個長期存在但常被忽視的問題，正制約著前饋式3DGS的質(zhì)量上限：
幾何表示的局限性。當(dāng)前模型普遍依賴預(yù)測的2D深度圖反投影來構(gòu)建三維高斯點(diǎn)云。但深度圖在物體邊界處存在天然的不連續(xù)性，這種瑕疵在被上投影至三維空間時會被放大，導(dǎo)致生成的幾何體在邊緣區(qū)域出現(xiàn)破碎、空洞和漂浮物，嚴(yán)重影響了最終的渲染質(zhì)量。
為了攻克這一難題，本文提出了 PM-Loss，一種新穎的、即插即用的正則化損失。它巧妙地利用了大型3D重建模型生成的“點(diǎn)圖”（Pointmap）作為幾何先驗(yàn)，在訓(xùn)練過程中直接對三維空間中的幾何進(jìn)行約束，從根本上提升了模型的幾何準(zhǔn)確性。實(shí)驗(yàn)表明，MVSplat 和 DepthSplat 等主流模型在應(yīng)用 PM-Loss 后，在 DL3DV 和 RealEstate10K 數(shù)據(jù)集上重建出的高斯點(diǎn)云基本消除了外圍浮點(diǎn)。同時在渲染效果上也取得了超過 2dB 的PSNR提升，點(diǎn)云在邊界區(qū)域可視化效果變得明顯更加清晰和規(guī)整 。
核心癥結(jié)：不完美的“深度基石”
深入探究前饋式3DGS的工作流程，我們發(fā)現(xiàn)其核心瓶頸在于幾何重建的監(jiān)督方式。模型通過標(biāo)準(zhǔn)的2D渲染損失（如L2, LPIPS）進(jìn)行優(yōu)化，這種監(jiān)督方式雖然能保證整體畫面的相似性，卻難以對三維空間的幾何結(jié)構(gòu)進(jìn)行有效約束。 這導(dǎo)致了兩個主要問題：
1.邊界偽影 (Boundary Artifacts)：深度圖在物體輪廓、前景與背景交界處極易產(chǎn)生錯誤預(yù)測，這些錯誤被直接轉(zhuǎn)化為三維空間中位置不準(zhǔn)的高斯點(diǎn)。
2.幾何不一致 (Geometric Inconsistency)：僅依賴2D圖像監(jiān)督，模型難以學(xué)習(xí)到多視圖之間連貫、一致的幾何信息，導(dǎo)致三維結(jié)構(gòu)缺乏平滑性和完整性。 這種基于不完美“深度基石”的重建方式，是導(dǎo)致渲染結(jié)果出現(xiàn)視覺瑕疵的根本原因。
PM-Loss登場：引入3D空間“幾何標(biāo)尺”
為了解決上述問題，本文不再局限于2D圖像空間，而是引入了直接的3D幾何監(jiān)督。PM-Loss的核心思想是：借助一個強(qiáng)大的外部“幾何專家”來指導(dǎo)3DGS模型的幾何學(xué)習(xí)。
這個“專家”就是由預(yù)訓(xùn)練的大型3D重建模型（如VGGT）生成的點(diǎn)圖（Pointmap）。點(diǎn)圖為場景中的每個像素點(diǎn)直接提供了三維世界坐標(biāo)，相比于單一的深度值，它包含了更豐富、更平滑的幾何信息。
PM-Loss的工作流程可概括為以下兩步：
1.高效對齊 (Efficient Alignment) ：在訓(xùn)練的每一步，將3DGS模型預(yù)測的高斯點(diǎn)云中心，與由點(diǎn)圖構(gòu)成的目標(biāo)點(diǎn)云進(jìn)行對齊。得益于兩者像素級別的天然對應(yīng)關(guān)系，可采用高效的Umeyama算法在毫秒間完成對齊，避免了傳統(tǒng)ICP等算法的巨大開銷。
2.3D空間正則化 (3D-Space Regularization) ：對齊后，通過Chamfer距離計(jì)算兩個點(diǎn)云之間的差異，并將其作為一項(xiàng)正則化損失（即PM-Loss）加入到總損失函數(shù)中。這相當(dāng)于在三維空間中引入了一把“幾何標(biāo)尺”，懲罰那些偏離了平滑幾何先驗(yàn)的預(yù)測，引導(dǎo)模型學(xué)習(xí)到更準(zhǔn)確、更完整的3D結(jié)構(gòu)。
作為一個純粹的訓(xùn)練期損失，PM-Loss無需修改模型架構(gòu)，且在推理時零開銷，保證了原有模型的效率。
實(shí)測效果：邊界更清晰，偽影去無蹤
本文在多個主流前饋3DGS模型（如DepthSplat, MVSplat）及大規(guī)模數(shù)據(jù)集（DL3DV, RealEstate10K）上驗(yàn)證了PM-Loss的有效性。
- 幾何質(zhì)量的根本性優(yōu)化：通過可視化3D高斯點(diǎn)云，發(fā)現(xiàn)PM-Loss能顯著提升幾何體的規(guī)整度和完整性，使其更貼近真實(shí)的場景結(jié)構(gòu)。
- 渲染質(zhì)量顯著提升：PM-Loss為所有基線模型帶來了穩(wěn)定且可觀的性能增益。在同樣設(shè)置下，PSNR指標(biāo)平均提升超過2dB，LPIPS和SSIM指標(biāo)也得到了一致改善。
- 視覺效果肉眼可見的改善：從定性對比中可以清晰看到，經(jīng)PM-Loss優(yōu)化后的模型，在處理物體邊緣、復(fù)雜遮擋和背景區(qū)域時表現(xiàn)得更加出色。原先的黑色空洞、扭曲邊界和漂浮噪點(diǎn)得到了有效抑制，整體畫面更干凈、更真實(shí)。
總結(jié)
研究指出了當(dāng)前前饋式3DGS模型中一個關(guān)鍵卻未被充分解決的問題：由2D深度表示局限性所引發(fā)的幾何質(zhì)量瓶頸。本文提出的PM-Loss，通過一種巧妙而高效的方式，將大型3D重建模型的幾何先驗(yàn)知識“蒸餾”到3DGS模型的訓(xùn)練過程中。作為一個輕量級、即插即用且無推理開銷的正則化損失，PM-Loss為提升前饋式3DGS的重建質(zhì)量提供了一個實(shí)用且有效的解決方案。我們相信，這種跨模型、跨范式借鑒先驗(yàn)知識的思路，將為未來的三維視覺研究帶來更多啟發(fā)。
本文轉(zhuǎn)自AI生成未來 ，作者：AI生成未來
