大衛(wèi)復(fù)活！英偉達(dá)再造「神經(jīng)朗基羅」，3D重建肌肉紋理肉眼可見(jiàn)

作者：新智元 2023-06-02 13:47:44

人工智能新聞

16世紀(jì)的米開(kāi)朗基羅重生了！英偉達(dá)團(tuán)隊(duì)提出Neuralangelo，從2D視頻重建3D大規(guī)模場(chǎng)景，將5.5米大衛(wèi)雕像完美復(fù)刻。

今天，英偉達(dá)再造了16世紀(jì)的米開(kāi)朗基羅「Neuralangelo」。

快看，Neuralangelo「復(fù)刻」出3D版的著名雕像大衛(wèi)，大理石的細(xì)節(jié)、紋理栩栩如生。

要知道，收藏在佛羅倫薩美術(shù)學(xué)院的大衛(wèi)雕像，僅身高3.96米，加上基座都有5.5米。

它甚至可以重建一棟建筑物的內(nèi)外部結(jié)構(gòu)，屋頂瓦片、玻璃窗格、還有各種細(xì)節(jié)都一一再現(xiàn)。

這一切，都是「神經(jīng)朗基羅」（Neuralangelo）的魔法。

來(lái)自英偉達(dá)和約翰霍普金斯大學(xué)的研究人員提出的新型AI模型，利用神經(jīng)網(wǎng)絡(luò)重建3D物體。

最新研究已被CVPR 2023錄用。

論文地址：https://research.nvidia.com/labs/dir/neuralangelo/paper.pdf

特別是，Neuralangelo可以從手機(jī)視頻，無(wú)人機(jī)拍攝的視頻重建「高保真的大規(guī)模場(chǎng)景」。

那豈不是未來(lái)，就能輕易地把一座城市、甚至外太空的視頻，變成一個(gè)沉浸式的世界，再裝進(jìn)游戲去體驗(yàn)。

網(wǎng)友驚呼，英偉達(dá)黑了「矩陣」世界！

甚至，還有人稱(chēng)，蘋(píng)果XR技術(shù)，再加上Neuralangelo，就能創(chuàng)造「new worlds」了。

效果演示

英偉達(dá)的總部

破舊的卡車(chē)

Ignatius的雕像

重建3D場(chǎng)景

以前的AI模型在重建3D場(chǎng)景時(shí)，往往難以準(zhǔn)確捕捉到重復(fù)的紋理模式、均勻的顏色以及強(qiáng)烈的色彩變化。

為此，團(tuán)隊(duì)提出了一個(gè)將多分辨率3D哈希網(wǎng)格的表征能力和神經(jīng)表面渲染相結(jié)合的全新方法——Neuralangelo。

去年，英偉達(dá)研究人員曾創(chuàng)造了一種新工具3D MoMa，將照片變成3D物體易如反掌。

NeuralAngelo建立在這一概念的基礎(chǔ)上，允許導(dǎo)入更大、更詳細(xì)的空間和對(duì)象。而它特別之處在于，可以準(zhǔn)確捕捉重復(fù)的紋理模式、同質(zhì)的顏色和強(qiáng)烈的顏色變化。

通過(guò)采用「即時(shí)神經(jīng)圖形基元」，也就是NVIDIA Instant NeRF技術(shù)的核心，Neuralangelo由此可以捕捉更細(xì)微的細(xì)節(jié)。

團(tuán)隊(duì)的方法依賴于2個(gè)關(guān)鍵要素：

（1）用于計(jì)算高階導(dǎo)數(shù)作為平滑操作的數(shù)值梯度；

（2）在控制不同細(xì)節(jié)級(jí)別的哈希網(wǎng)格上進(jìn)行由粗到細(xì)的優(yōu)化。

即使沒(méi)有輔助深度，Neuralangelo也能有效地從多視圖圖像中恢復(fù)密集3D表面結(jié)構(gòu)，其保真度顯著超過(guò)了以往的方法，使得能夠從RGB視頻捕捉中重建詳細(xì)的大規(guī)模場(chǎng)景。

構(gòu)建NeuralAngelo

NeuralAngelo模型是在多分辨率哈希編碼，以及基于SDF的體積渲染上進(jìn)行構(gòu)建。

第一步：使用數(shù)值梯度來(lái)計(jì)算高階導(dǎo)數(shù)

通過(guò)使用與哈希網(wǎng)格空間分辨率匹配的步長(zhǎng)的數(shù)值梯度，可以優(yōu)化超越局部單元。與解析梯度相比，數(shù)值梯度對(duì)SDF起到了平滑操作的作用。

第二步：逐步細(xì)化細(xì)節(jié)層次

通過(guò)逐步減小數(shù)值梯度的步長(zhǎng)，并啟用更高分辨率的哈希網(wǎng)格，優(yōu)化的效果可以更好地恢復(fù)大面積的光滑表面和精細(xì)的幾何細(xì)節(jié)。這種學(xué)習(xí)過(guò)程能夠逐步提高細(xì)節(jié)的層次感。

第三步：優(yōu)化

NeuralAngelo使用三個(gè)優(yōu)化目標(biāo)：

RGB合成損失

：輸入圖像和合成圖像之間的RGB重建損失。

Eikonal損失

：對(duì)底層SDF進(jìn)行正則化處理，使其表面法線為單位正則。

曲率損失

：對(duì)底層SDF進(jìn)行正則化處理，使平均曲率不會(huì)任意變大。

「神經(jīng)朗基羅」構(gòu)建好了，那么它又是如何運(yùn)作的呢？

可以說(shuō)，Neuralangelo還原了米開(kāi)朗基羅刻畫(huà)大衛(wèi)的整個(gè)過(guò)程：

· 首先，模型會(huì)從2D視頻中選擇幾幀從不同角度拍攝的物體/場(chǎng)景的畫(huà)面，并由此「看到」其深度、大小和形狀。這個(gè)過(guò)程就像雕塑藝術(shù)家一開(kāi)始會(huì)從多個(gè)角度構(gòu)圖那樣。

· 然后，模型會(huì)創(chuàng)建一個(gè)粗糙的3D場(chǎng)景表征，就像藝術(shù)家開(kāi)始鑿刻主體的形狀。

· 最后，模型會(huì)優(yōu)化渲染以提高細(xì)節(jié)的清晰度，就像藝術(shù)家通過(guò)精心地修飾來(lái)模仿織物或人形的紋理。

在DPU基準(zhǔn)定性比較中， Neuralangelo產(chǎn)生更準(zhǔn)確和更高保真度的表面。

如下是Neuralangelo在DTU數(shù)據(jù)集中的定量結(jié)果，模型獲得了很好的重建精度和圖像合成質(zhì)量。

在不同的從粗糙到精細(xì)優(yōu)化方案定性比較中，當(dāng)使用分析梯度AG和AG+P，物體粗糙表面還有偽影。

當(dāng)使用數(shù)字梯度（NG）時(shí)，能夠重建一個(gè)比較好的粗糙表面，細(xì)節(jié)也被平滑。

而英偉達(dá)的解決方案（NG+P）能夠生成光滑的表面，以及精細(xì)的細(xì)節(jié)。

最終的結(jié)果是一個(gè)可以在虛擬現(xiàn)實(shí)應(yīng)用、數(shù)字孿生或機(jī)器人開(kāi)發(fā)中使用的3D物體或大規(guī)模場(chǎng)景。

英偉達(dá)表示，Neuralangelo將復(fù)雜材料的紋理，包括屋頂瓦片的粗糙度、大理石的光滑度，從2D視頻轉(zhuǎn)化為3D物體的能力，顯著超越了以往的方法。

英偉達(dá)研究部高級(jí)主任、論文作者M(jìn)ing-Yu Liu對(duì)這項(xiàng)研究的意義給出了暢想：

「Neuralangelo提供的3D重建能力將給創(chuàng)作者帶來(lái)巨大好處，幫助他們?cè)跀?shù)字世界中重建真實(shí)世界。這個(gè)工具最終將使開(kāi)發(fā)人員能夠?qū)⒕?xì)的物體——不論是小型雕像，還是大型建筑——導(dǎo)入視頻游戲或工業(yè)數(shù)字孿生的虛擬環(huán)境中。

創(chuàng)意的專(zhuān)業(yè)人士可以將這些3D對(duì)象導(dǎo)入到設(shè)計(jì)應(yīng)用中，進(jìn)一步編輯，以供藝術(shù)、電子游戲開(kāi)發(fā)、機(jī)器人技術(shù)和工業(yè)數(shù)字孿生等領(lǐng)域使用。

作者介紹

Zhaoshuo Li（李趙碩）

李趙碩目前還是約翰霍普金斯大學(xué)的計(jì)算機(jī)科學(xué)博士生，導(dǎo)師是Mathias Unberath教授、Russell H Taylor教授。

他對(duì)計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)、深度學(xué)習(xí)有濃厚的興趣，研究重點(diǎn)是從圖像中重現(xiàn)運(yùn)動(dòng)和結(jié)構(gòu)。

另外，他還有非常多的愛(ài)好，是攝像師、心理健康促進(jìn)者、寵物狗的愛(ài)好者、還是沖浪者、跳傘者、滑雪板運(yùn)動(dòng)員…

Chen-Hsuan Lin

Chen-Hsuan Lin是NVIDIA Research的一名研究科學(xué)家，從事計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)和人工智能方面的工作。

他在卡內(nèi)基梅隆大學(xué)獲得了機(jī)器人學(xué)博士學(xué)位，并獲得英偉達(dá)研究生獎(jiǎng)學(xué)金。此前，他還在Facebook AI Research和Adobe Research實(shí)習(xí)。

Lin對(duì)解決3D重建、視圖合成和3D內(nèi)容生產(chǎn)的問(wèn)題非常感興趣。其研究旨在通過(guò)從互聯(lián)網(wǎng)規(guī)模的視覺(jué)數(shù)據(jù)中學(xué)習(xí)，賦予人工智能系統(tǒng)人類(lèi)水平的3D感知和想象能力，向真正的3D空間智能邁進(jìn)。