CVPR 2025高分論文：從照片重建3D矢量，告別模糊渲染，重建邊緣更清晰

作者：機(jī)器之心 2025-03-31 08:52:00

由比利時魯汶大學(xué)吳旻燁與上?？萍即髮W(xué)戴海釗等研究人員組成的團(tuán)隊(duì)在 CVPR 2025 上提出了創(chuàng)新性的解決方案 ——Bézier Gaussian Triangle（BG-Triangle）三維表征方法。

三維高斯?jié)姙R（3D Gaussian Splatting, 3DGS）技術(shù)基于高斯分布的概率模型疊加來表征場景，但其重建結(jié)果在幾何和紋理邊界處往往存在模糊問題。這種模糊效應(yīng)會隨著重建過程中不確定性的累積而愈發(fā)顯著。如圖 1 所示，通過提高渲染分辨率可以明顯觀察到這種邊界模糊現(xiàn)象。

圖 1：BG-Triangle 的樣例結(jié)果展示和對比

針對這一技術(shù)瓶頸，由比利時魯汶大學(xué)吳旻燁與上?？萍即髮W(xué)戴海釗等研究人員組成的團(tuán)隊(duì)在 CVPR 2025 上提出了創(chuàng)新性的解決方案 ——Bézier Gaussian Triangle（BG-Triangle）三維表征方法。該方法巧妙融合了 Bézier 三角形的矢量圖形特性與高斯概率模型，不僅實(shí)現(xiàn)了 3D 場景的精確重建，還支持分辨率無關(guān)的可微渲染。通過引入不連續(xù)感知渲染技術(shù)，BG-Triangle 有效降低了物體邊界的不確定性，從而獲得更加銳利的渲染效果。與現(xiàn)有算法相比，該方法還具有參數(shù)量更少的顯著優(yōu)勢。

論文題目：BG-Triangle: Bézier Gaussian Triangle for 3D Vectorization and Rendering
作者：吳旻燁、戴海釗、姚凱欣、Tinne Tuytelaars、虞晶怡
論文鏈接：https://arxiv.org/abs/2503.13961
項(xiàng)目主頁和代碼：https://wuminye.github.io/projects/BGTriangle/

背景介紹

在計(jì)算機(jī)圖形學(xué)和 3D 計(jì)算機(jī)視覺的發(fā)展過程中，場景表示經(jīng)歷了從傳統(tǒng)的離散幾何表示到連續(xù)表示的演變。

早期，網(wǎng)格（meshes）、點(diǎn)云（point clouds）和體素（voxels）等傳統(tǒng)方法被廣泛應(yīng)用于 3D 重建和渲染。這些方法能顯式地精確建模場景，但難以實(shí)現(xiàn)基于圖片的端到端的重建優(yōu)化。

輻射場（Radiance Fields）這種 3D 表征的興起，使得可微渲染（differentiable rendering）更加靈活，優(yōu)化算法能夠直接基于渲染圖像的誤差來更新 3D 表示。

Neural Radiance Fields (NeRF) 通過神經(jīng)網(wǎng)絡(luò)隱式編碼輻射場和密度場，實(shí)現(xiàn)了高質(zhì)量的新視角合成，但由于其連續(xù)體積表示的特性，難以精確捕捉物體的邊界和幾何細(xì)節(jié)。

隨后，3D Gaussian Splatting (3DGS) 通過顯式的高斯點(diǎn)云表示，提高了渲染效率和準(zhǔn)確性，并利用連續(xù)的高斯分布實(shí)現(xiàn)了靈活的表征優(yōu)化，適用于復(fù)雜場景的建模。

然而，這些方法在處理物體的銳利邊緣時仍然存在局限性，尤其是在近距離觀察時，由于漸變分布的疊加容易出現(xiàn)模糊或過渡不清的現(xiàn)象。

因此，本研究提出了一種介于離散和連續(xù)之間的三維混合表示方法，在可微渲染的框架下結(jié)合矢量圖形和概率建模，利用矢量表達(dá)的靈活高效性以更少的圖元數(shù)量實(shí)現(xiàn)更精確的幾何和邊界建模，為 3D 場景表示提供了一種新的解決方案。

基本原理

1. 基本元素：BG-Triangle 圖元

BG-Triangle 是一種融合了貝塞爾三角形與 3D 高斯模型的場景表征方法。該方法將每個貝塞爾三角形視為一個圖元，通過一組控制點(diǎn)參數(shù)化定義場景的局部曲面區(qū)域。作為顯式幾何表示，貝塞爾三角形能夠清晰確定渲染視角下的圖元輪廓范圍。此外，通過靈活調(diào)整控制點(diǎn)位置，可以生成不同彎曲程度的曲面和邊界。

圖 2：貝塞爾三角圖元通過控制點(diǎn)來改變幾何形狀

BG-Triangle 圖元還編碼了高斯的參數(shù)屬性，包括形狀、大小和顏色等信息。利用這些屬性，可以在圖元內(nèi)自由生成用于渲染的高斯分布。這些高斯的位置與控制點(diǎn)相綁定，從而使圖元具備可微特性。

圖 3：貝塞爾三角形圖元中編碼的參數(shù)屬性可以構(gòu)造生成出任意一點(diǎn)的高斯分布的形狀和顏色

2. 不連續(xù)感知渲染

高斯雖然提供了可微的性質(zhì)，但是其連續(xù)的分布無法表達(dá)不連續(xù)的紋理和幾何邊界。為此，研究者們使用貝塞爾三角形的渲染輪廓來對高斯的分布進(jìn)行約束。具體來說，渲染算法會重新計(jì)算輪廓邊界（圖中的白色實(shí)線）周圍區(qū)域（圖中虛線之間的區(qū)域）的高斯權(quán)重，從而降低高斯分布對圖元外部區(qū)域的影響效果。

圖 4：BG-Triangle 使用圖元的邊界對高斯重新計(jì)算權(quán)重

通過調(diào)整邊界寬度（即兩條虛線之間的距離），可以精確控制渲染效果的銳利程度，實(shí)現(xiàn)不連續(xù)的邊界渲染效果。

圖 5：調(diào)整邊界的寬度可以控制邊界的銳利程度。當(dāng)使用極小邊界寬度時，就型成了不連續(xù)的高斯權(quán)重

3. 渲染管線與重建優(yōu)化

圖 6：BG-Triangle 的渲染管線

BG-Triangle 的渲染管線分為兩個部分。第一部分將圖元渲染為目標(biāo)視角下的圖形緩沖區(qū)，該緩沖區(qū)包含非連續(xù)感知渲染所需的信息。這一部分可通過現(xiàn)有的圖形光柵化管線實(shí)現(xiàn)。第二部分利用緩沖區(qū)信息生成像素對齊的高斯分布，并根據(jù)邊界進(jìn)行渲染。在此過程中，梯度通過第二部分的高斯生成模塊直接傳遞到貝塞爾三角形圖元上。具體的梯度公式推導(dǎo)詳見原文附件，供感興趣的讀者參考。

在實(shí)現(xiàn)過程中，研究者首先使用粗糙的點(diǎn)云初始化圖元位置，隨后通過動態(tài)分裂和刪除算法在優(yōu)化過程中調(diào)整圖元數(shù)量，以適應(yīng)不同復(fù)雜度的場景。這種設(shè)計(jì)使得信息量較少的區(qū)域僅需少量圖元即可表達(dá)，從而顯著提升了信息利用效率。

圖 7：組成場景的圖元邊界示意圖。不同區(qū)域使用不同大小的圖元進(jìn)行自適應(yīng)的表示。

實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，BG-Triangle 在邊界清晰度和參數(shù)效率方面表現(xiàn)優(yōu)越。相比 3D Gaussian Splatting（3DGS）、Mip-Splatting、Mini-Splatting 和 Scaffold-GS，能以極少的圖元數(shù)量實(shí)現(xiàn)更高質(zhì)量的渲染。在相似參數(shù)規(guī)模下，BG-Triangle 在 LPIPS 評分（感知質(zhì)量）上顯著優(yōu)于其他方法，且在放大渲染中仍可保持清晰的物體邊界，而 3DGS 及相關(guān)方法在近距離觀察時會產(chǎn)生模糊或偽影。