TripoSG：一鍵使用AI在數秒內生成3D設計，支持文本/圖像/涂鴉等多種方式，引領3D生成潮流！
TripoAI發布了最新3D生成模型 TripoSG，能夠生成與輸入圖像精確對應的高保真 3D 形狀樣本。涵蓋各種復雜結構、多樣風格、富有想象力的設計、多對象組合以及細節豐富的輸出，展現了其強大的生成能力。
主要特點總結如下：
- 高保真生成：生成具有清晰幾何特征、精細表面細節和復雜結構的網格
- 語義一致性：生成的形狀準確反映輸入圖像的語義和外觀
- 強大的泛化能力：處理多種輸入風格，包括逼真的圖像、卡通和素描
- 穩健的性能：即使對于具有復雜拓撲的具有挑戰性的輸入，也能創建連貫的形狀
TripoSG 模型生成的高質量 3D 形狀樣本。涵蓋各種復雜結構、多樣風格、富有想象力的設計、多對象組合以及細節豐富的輸出，展現了其強大的生成能力。
相關鏈接
- 論文：https://arxiv.org/abs/2502.06608
- 代碼：https://github.com/VAST-AI-Research/TripoSG
- 主頁：https://yg256li.github.io/TripoSG-Page/
- Tripo3d官網：https://www.tripo3d.ai/
- 試用：https://huggingface.co/spaces/VAST-AI/TripoSG
論文介紹
TripoSG：使用大規模整流流模型進行高保真三維形狀合成
擴散技術的最新進展將圖像和視頻生成質量推向了前所未有的水平，顯著加速了生成式人工智能的部署和應用。然而，3D 形狀生成技術迄今為止發展滯后，受到 3D 數據規模的限制、3D 數據處理的復雜性以及對 3D 領域先進技術的探索不足等因素制約。當前的 3D 形狀生成方法在輸出質量、泛化能力以及與輸入條件的匹配方面面臨著巨大挑戰。我們提出了TripoSG，一種新的簡化形狀擴散范式，能夠生成與輸入圖像精確對應的高保真 3D 網格。具體而言，我們提出：
- 一種用于 3D 形狀生成的大規模整流流變換器，通過在大量高質量數據上進行訓練實現最佳保真度。
- 一種結合 SDF、法線和艾科納損失的混合監督訓練策略，用于 3D VAE，實現高質量的 3D 重建性能。
- 構建了一條數據處理流程，用于生成 200 萬個高質量 3D 樣本，凸顯了數據質量和數量在訓練 3D 生成模型中至關重要的規則。
通過全面的實驗，我們驗證了新框架中每個組件的有效性。這些組件的無縫集成使 TripoSG 在 3D 形狀生成方面達到了最佳性能。由于其高分辨率能力，生成的 3D 形狀展現出增強的細節，并展現出對輸入圖像的出色保真度。此外，TripoSG 在從各種圖像風格和內容生成 3D 模型方面展現出更強大的通用性，展現出強大的泛化能力。
方法
方法概述包含兩個主要部分：(i) 數據構建系統和 (ii) TripoSG 模型。
數據構建系統通過一系列數據處理步驟處理來自各種數據集（例如 Objaverse 和 ShapeNet）的 3D 模型，以創建訓練數據。然后，我們的 TripoSG 模型在此精選數據集上進行訓練，以便從單個輸入圖像生成高保真形狀。
VAE管道
TripoSG 基于 Transformer 的 VAE 架構。上層為編碼器，下層為解碼器。
數據處理管道
TripoSG 數據構建系統演示。I：數據評分程序；II：數據篩選程序；III：數據修復和增強程序。IV：現場數據生成程序。
結果比較
在相同圖像輸入下，TripoSG 與其他先前最先進的方法的 3D 生成性能比較。
更多無紋理 3D 形狀生成結果
TripoSG 生成的各種無紋理 3D 形狀。每種形狀的第一張圖像是輸入圖像，其余四張圖像是從生成模型渲染的多視圖。
更多紋理 3D 形狀生成結果
TripoSG 生成的各種紋理 3D 形狀。每種情況下的第一張圖像是輸入圖像，其余四張圖像是從生成模型渲染的多視圖。
本文轉載自??AIGC Studio??，作者：AIGC Studio
