ICLR2025 | MIT何愷明團隊提出TetSphere：拉格朗日體積網格精準還原高質量3D形狀！
1. 一眼概覽
TetSphere Splatting提出了一種基于四面體球體（TetSpheres）的拉格朗日表示方法，可生成高質量3D網格，兼具高幾何保真度和結構完整性，在多視圖重建和圖像/文本到3D生成任務中均表現出色。
2. 核心問題
當前主流3D建模方法（如基于點云或神經隱式表示）難以同時兼顧高質量網格結構與幾何表達能力，尤其在處理復雜形狀時，常出現非流形、退化三角面等問題。論文關注的核心問題是：如何以結構合理、幾何一致的方式重建高質量3D網格，同時保持高效計算和良好可擴展性。
3. 技術亮點
- 創新性幾何單元：引入四面體球體（TetSpheres）作為基本單元，通過變形形成復雜形狀，實現結構約束與幾何自由的統一；
- 能量優化框架：將幾何變形建模為能量最小化問題，結合雙調和能量與非翻轉約束，確保網格平滑性與可渲染性；
- 多任務通用性：方法可無縫應用于多視圖重建、單圖重建、圖像到3D、文本到3D等任務，具備良好的擴展性與應用前景。
4. 方法框架
TetSphere Splatting方法流程如下：
- 初始化：根據輸入圖像輪廓自適應生成TetSphere集合，并覆蓋目標3D區域；
- 網格變形：每個TetSphere通過優化其頂點位置以擬合目標形狀，過程受雙調和能量和平滑約束引導；
- 差分渲染損失：使用可微渲染計算形狀與多視圖圖像之間的差異，聯合優化形狀變形；
- 紋理可選優化：支持對變形后網格進行紋理映射和材質賦予，但非核心目標。
5. 實驗結果速覽
在多項任務中，TetSphere均展現出卓越的網格質量與較強的幾何重建性能：
? 多視圖重建（Chamfer ↓ / Volume IoU ↑）：
Chamfer Distance：0.0184
Volume IoU：0.6844
面積長度比（ALR）：0.6602（三角形更規整）
Manifoldness Rate：100%（無非流形）
Connected Component Discrepancy：0.0（無漂浮結構）
? 單圖重建：相比Magic123、DreamGaussian等方法，TetSphere在網格規整性、連通性、重建精度等方面更勝一籌。
? 速度與效率：圖像到3D任務中支持最大batch size 120（在40GB A100 GPU上），訓練速度最快（6.59 iter/s）。
6. 實用價值與應用
TetSphere Splatting適用于3D重建、虛擬現實、動畫制作、3D內容生成等應用場景。其高質量網格輸出可直接服務于仿真、渲染、3D打印等下游任務，尤其在稀疏輸入、高質量輸出需求強烈的生成式任務中具有重要價值。
7. 開放問題
? 如何在保持網格質量的同時進一步提升拓撲一致性與全局連通性？
? TetSphere是否適合與大規模擴散模型或物理仿真引擎深度集成？
? 面向工業應用，TetSphere框架是否可在實時性場景中部署？
