最近，高斯濺射（Gaussian Splatting）在新視角合成領(lǐng)域掀起了一輪革命性浪潮，取代上一代技術(shù)神經(jīng)輻射場（NeRF）成為學(xué)界業(yè)界頂流。而真實(shí)場景往往是動態(tài)的，如何合成動態(tài)場景的新視角是更具價值與挑戰(zhàn)的領(lǐng)域。

?

隨著圖形學(xué)與AI的發(fā)展，數(shù)字資產(chǎn)的創(chuàng)造日益引起人們的重視。對于重建的真實(shí)場景進(jìn)行編輯也是AIGC領(lǐng)域業(yè)內(nèi)關(guān)注的熱門方向，其為制作數(shù)字資產(chǎn)提供了高效與便捷。

香港大學(xué)CVMI實(shí)驗(yàn)室攜手3D大模型公司VAST與浙江大學(xué)，提出了目前SOTA的動態(tài)高斯濺射模型SC-GS，并支持用戶交互式實(shí)時編輯重建的場景。

△面向可編輯動態(tài)場景的稀疏控制高斯濺射

SC-GS支持用戶對重建的動態(tài)高斯進(jìn)行實(shí)時交互編輯，制作新的場景運(yùn)動或形狀：

使用鼠標(biāo)的拖拽與鍵盤組合按鍵就能夠方便的操作。

△實(shí)時交互編輯

怎么做到的？

SC-GS的靈感來源于對自然世界大多數(shù)動態(tài)過程的觀察，由于物質(zhì)大多數(shù)都是剛性或連續(xù)的，因此物體的移動往往可以由稀疏的變形基底表示，并不需要稠密的變形場進(jìn)行建模。

摒棄了大多數(shù)現(xiàn)有方法對動態(tài)場景的變形場進(jìn)行稠密建模的方案，SC-GS突破性地引入稀疏的控制點(diǎn)對動態(tài)場景的變形進(jìn)行表示與建模，并由一個神經(jīng)網(wǎng)絡(luò)預(yù)測每個控制點(diǎn)在不同時刻的運(yùn)動狀態(tài)，從而驅(qū)動整個場景中的動態(tài)高斯進(jìn)行變形。

SC-GS首先初始化少數(shù)各向同性的球狀高斯結(jié)合神經(jīng)網(wǎng)絡(luò)預(yù)測的運(yùn)動進(jìn)行渲染，使用渲染結(jié)果擬合動態(tài)場景的多視角圖片，得到粗糙但不過擬合的變形場建模。

通過對這些球狀高斯進(jìn)行降采樣，得到預(yù)設(shè)數(shù)量的稀疏控制點(diǎn)，并通過徑向基函數(shù)插值得到標(biāo)準(zhǔn)空間中各個高斯在不同時刻的變形參數(shù)進(jìn)行驅(qū)動變形。

訓(xùn)練過程中，稀疏控制點(diǎn)，神經(jīng)網(wǎng)絡(luò)還有高斯共同訓(xùn)練優(yōu)化，實(shí)現(xiàn)動態(tài)場景的建模。

研究團(tuán)隊(duì)發(fā)現(xiàn)稀疏控制點(diǎn)雖然能夠完美解決變形場過擬合到訓(xùn)練視角的問題，但其重建的變形也會出現(xiàn)不符合真實(shí)物理的現(xiàn)象。這是由于控制點(diǎn)的運(yùn)動缺乏物理約束，容易出現(xiàn)交錯與碰撞。

因此研究團(tuán)隊(duì)引入了局部剛性約束，限制控制點(diǎn)與鄰接點(diǎn)形成的邊在運(yùn)動過程發(fā)生非剛性變形，以讓控制點(diǎn)的運(yùn)動規(guī)律盡可能地符合真實(shí)物理。

這一約束進(jìn)一步提升了動態(tài)新視角合成的性能。

基于訓(xùn)練完成的模型，通過分析控制點(diǎn)的軌跡，能夠得到控制點(diǎn)連接形成的圖結(jié)構(gòu)與各個邊上的剛性權(quán)重。通過對該圖進(jìn)行“盡可能剛性”（ARAP）的變形，能夠以符合物理的條件對建模場景進(jìn)行編輯。

由于變形的對象是稀疏的控制點(diǎn)，因此變形過程能夠?qū)崟r進(jìn)行，這也為交互式編輯提供了可能，讓用戶能夠更高效，更便捷的創(chuàng)建屬于自己的數(shù)字資產(chǎn)。

△基于稀疏控制點(diǎn)驅(qū)動稠密高斯的方法框架

實(shí)驗(yàn)結(jié)果

SC-GS能夠?qū)鼍斑M(jìn)行交互式編輯，制作新的場景運(yùn)動或形狀。

△動作形狀編輯結(jié)果

SC-GS提供了方便快捷的編輯方案，在可視化窗口界面利用鼠標(biāo)拖拽與鍵盤按鍵即可實(shí)現(xiàn)。

此外，SC-GS能夠以SOTA的性能合成動態(tài)場景的新視角圖片，對于精細(xì)的幾何紋理細(xì)節(jié)都有著最高的保真度。對于人體手指，恐龍骨骼等精細(xì)部位的渲染都有著精準(zhǔn)的復(fù)現(xiàn)。

△DNeRF數(shù)據(jù)集定性對比，SC-GS超過現(xiàn)有方法達(dá)到最佳視覺質(zhì)量

定量實(shí)驗(yàn)同樣表明，SC-GS遠(yuǎn)超現(xiàn)有方法，在DNeRF數(shù)據(jù)集上實(shí)現(xiàn)了均值超過40的PSNR指標(biāo)。

△SC-GS全面大幅度超越現(xiàn)有的動態(tài)場景新視角合成方法

最后研究人員表示：

SC-GS讓我們看到了高斯濺射在動態(tài)場景與交互式編輯方面的潛力，我們期待2024年會有更精彩的工作與探索。

項(xiàng)目主頁：https://yihua7.github.io/SC-GS-web/
論文鏈接：https://arxiv.org/pdf/2312.14937.pdf
代碼倉庫：https://github.com/yihua7/SC-GS

本文轉(zhuǎn)自 量子位 ，作者：量子位

原文鏈接:??https://mp.weixin.qq.com/s/6jqZ6Ef3SNbx9TW9zxow1A??