由南洋理工大學推出 Sparc3D 是一個統一的框架，它將稀疏可變形行進立方體表示Sparcubes與新型編碼器Sparconv-VAE相結合。Sparcubes 通過將有符號距離和變形場散射到稀疏立方體上，將原始網格轉換為具有任意拓撲的高分辨率 (10243) 表面，從而實現可微分優化。Sparconv-VAE 是第一個完全基于稀疏卷積網絡構建的模態一致性變分自編碼器，能夠通過潛在擴散實現高效且近乎無損的三維重建，適用于高分辨率生成建模。

相關鏈接

• 論文：https://arxiv.org/abs/2505.14521
• 試用：https://huggingface.co/spaces/ilcve21/Sparc3D
• 主頁：https://lizhihao6.github.io/Sparc3D/
• 生產平臺：https://hitem3d.ai/

VAE 重建結果

圖像到 3D 生成結果

論文介紹

由于網格數據的非結構化特性以及密集體積網格的立方復雜性，高保真 3D 物體合成比 2D 圖像生成仍然更具挑戰性?，F有的兩階段流程——使用 VAE（使用 2D 或 3D 監督）壓縮網格，然后進行潛在擴散采樣——通常會因 VAE 中引入的低效表示和模態不匹配而導致嚴重的細節丟失。

論文推出了Sparc3D，這是一個統一的框架，它將稀疏可變形行進立方體表示Sparcubes與新型編碼器Sparconv-VAE相結合。Sparcubes 通過將有符號距離和變形場散射到稀疏立方體上，將原始網格轉換為具有任意拓撲的高分辨率（1024 3）表面，從而實現可微優化。 Sparconv-VAE 是首個完全基于稀疏卷積網絡構建的模態一致性變分自編碼器，能夠通過潛在擴散實現高效且近乎無損的 3D 重建，適用于高分辨率生成建模。Sparc3D 能夠在挑戰性輸入（包括開放表面、不連續組件和復雜幾何形狀）上實現一流的重建保真度。它能夠保留細粒度的形狀細節，降低訓練和推理成本，并與潛在擴散模型自然集成，實現可擴展的高分辨率 3D 生成。

方法概述（Sparcubes）

Sparcubes 重建管道的圖示，用于將原始網格轉換為防水網格。

方法概述（Sparconv-VAE）

Sparconv-VAE 包含一系列稀疏卷積塊，并集成了源自 Point Transformer V3 的輕量級局部注意力模塊。

實驗結果

VAE 重建的定性比較。Sparconv-VAE 在重建復雜幾何形狀、將開放表面轉換為雙層水密網格以及揭示不可見的內部結構方面表現出色。

單幅圖像到三維生成的定性比較。在相同的架構和模型大小下，使用 Sparconv-VAE 訓練的生成器比 TRELLIS 生成了更詳細的重建結果。

結論

Sparc3D 是一個統一的框架，旨在解決 3D 生成流程中長期存在的兩個瓶頸：保持拓撲結構的網格重構和模態一致性的潛在編碼。其核心是 Sparcubes，它將原始的非水密網格轉換為高分辨率的完全水密表面，同時保留精細的細節和微小的組件。在此基礎上，Sparconv-VAE（一個帶有自剪枝解碼器的稀疏卷積變分自編碼器）直接壓縮和重構稀疏表示，而無需借助重量級注意力機制，從而實現了最佳的重建保真度和更快的收斂速度。當與潛在擴散（例如 TRELLIS）結合使用時，Sparc3D 可以提升下游 3D 資產合成的生成分辨率。總之，這些貢獻為虛擬（AR/VR、機器人模擬）和物理（3D 打?。╊I域的高保真 3D 生成建立了強大、可擴展的基礎。

本文轉載自????AIGC Studio????，作者：AIGC Studio