可提示 3D 分割研究里程碑！SAM2Point：SAM2加持泛化任意3D場(chǎng)景、任意提示！
文章鏈接：https://arxiv.org/pdf/2408.16768
在線demo: https://huggingface.co/spaces/ZiyuG/SAM2Point
code鏈接：https://github.com/ZiyuGuo99/SAM2Point
亮點(diǎn)直擊
- 無(wú)投影 3D 分割：SAM2POINT 通過(guò)將 3D 數(shù)據(jù)體素化為視頻格式，避免了復(fù)雜的 2D-3D 投影，實(shí)現(xiàn)了高效的零樣本 3D 分割，同時(shí)保留了豐富的空間信息。
- 多樣的提示支持：該方法支持 3D 點(diǎn)、3D框和mask三種提示類型，實(shí)現(xiàn)了靈活的交互式分割，增強(qiáng)了 3D 分割的精確度和適應(yīng)性。
- 強(qiáng)大的泛化能力：SAM2POINT 在多種 3D 場(chǎng)景中表現(xiàn)出優(yōu)越的泛化能力，包括單個(gè)物體、室內(nèi)場(chǎng)景、室外場(chǎng)景和原始 LiDAR 數(shù)據(jù)，顯示了良好的跨領(lǐng)域轉(zhuǎn)移能力。
今天和小伙伴們一起學(xué)習(xí)的是SAM2POINT，這是一種初步探索，是將 Segment Anything Model 2 (SAM 2) 適配于零樣本和可提示的3D分割。SAM2POINT 將任何 3D 數(shù)據(jù)解釋為一系列多方向視頻，并利用 SAM2 進(jìn)行3D空間分割，無(wú)需進(jìn)一步訓(xùn)練或 2D-3D 投影?？蚣苤С侄喾N提示類型，包括 3D 點(diǎn)、3D框和mask，并且可以在各種場(chǎng)景中進(jìn)行泛化，例如 3D 單個(gè)物體、室內(nèi)場(chǎng)景、室外場(chǎng)景和原始 LiDAR。在多個(gè) 3D 數(shù)據(jù)集上的演示，如 Objaverse、S3DIS、ScanNet、Semantic3D 和 KITTI，突出了 SAM2POINT 的強(qiáng)大泛化能力。本方法展示了 SAM 在 3D 中的最忠實(shí)實(shí)現(xiàn)，這可能成為未來(lái)可提示 3D 分割研究的起點(diǎn)。
效果展示
下圖 3到圖7 展示了 SAM2POINT 在使用不同 3D 提示對(duì)不同數(shù)據(jù)集進(jìn)行 3D 數(shù)據(jù)分割的演示。
SAM2Point的3D物體的多方向視頻：
|
|
|
SAM2Point的3D室內(nèi)場(chǎng)景多方向視頻：
|
|
|
SAM2Point的3D室外場(chǎng)景多方向視頻：
|
|
|
SAM2Point的3D原始激光雷達(dá)的多方向視頻：
|
|
|
SAM2POINT
SAM2POINT 的詳細(xì)方法如下圖 2 所示。下面介紹了 SAM2POINT 如何高效地將 3D 數(shù)據(jù)格式化以兼容 SAM 2，從而避免復(fù)雜的投影過(guò)程。接下來(lái)，以及詳細(xì)說(shuō)明了支持的三種 3D 提示類型及其相關(guān)的分割技術(shù)。最后，展示了 SAM2POINT 有效解決的四種具有挑戰(zhàn)性的 3D 場(chǎng)景。
3D 數(shù)據(jù)作為視頻
任意 3D 場(chǎng)景
憑借簡(jiǎn)潔的框架設(shè)計(jì)，SAM2POINT 在各種領(lǐng)域中表現(xiàn)出優(yōu)越的零樣本泛化能力，從對(duì)象到場(chǎng)景、從室內(nèi)到室外場(chǎng)景。在下文中詳細(xì)闡述了四種不同的 3D 場(chǎng)景：
- 3D 單個(gè)物體，如 Objaverse，具有多種類別，具有不同實(shí)例的獨(dú)特特征，包括顏色、形狀和幾何結(jié)構(gòu)。對(duì)象的相鄰組件可能會(huì)重疊、遮擋或融合，這要求模型準(zhǔn)確識(shí)別細(xì)微差別以進(jìn)行部分分割。
- 室內(nèi)場(chǎng)景，如 S3DIS和 ScanNet，通常具有多個(gè)在封閉空間內(nèi)（如房間）排列的對(duì)象。復(fù)雜的空間布局、外觀相似性和對(duì)象間的不同方向給模型從背景中分割這些對(duì)象帶來(lái)挑戰(zhàn)。
- 室外場(chǎng)景，如 Semantic3D，與室內(nèi)場(chǎng)景不同，主要由于對(duì)象的大小對(duì)比明顯（建筑物、車輛和人）和點(diǎn)云的尺度更大（從一個(gè)房間到整個(gè)街道）。這些變化使得在全球尺度或細(xì)粒度水平上分割對(duì)象變得復(fù)雜。
- 原始 LiDAR，如 KITTI在自動(dòng)駕駛中，與典型點(diǎn)云不同，其分布稀疏且缺乏 RGB 信息。稀疏性要求模型推斷缺失的語(yǔ)義以理解場(chǎng)景，且缺乏顏色迫使模型僅依靠幾何線索區(qū)分對(duì)象。在 SAM2POINT 中，直接通過(guò) LiDAR 強(qiáng)度設(shè)置 3D 體素的 RGB 值。
總結(jié)展望
SAM2Point，利用 Segment Anything 2 (SAM 2) 實(shí)現(xiàn) 3D 分割，采用零樣本和可提示框架。通過(guò)將 3D 數(shù)據(jù)表示為多方向視頻，SAM2POINT 支持多種類型的用戶提供的提示（3D 點(diǎn)、框和mask），并在多種 3D 場(chǎng)景（3D 單個(gè)物體、室內(nèi)場(chǎng)景、室外場(chǎng)景和原始稀疏 LiDAR）中展示了強(qiáng)大的泛化能力。作為初步探索，SAM2POINT 提供了關(guān)于將 SAM 2 適配于有效和高效的 3D 理解的獨(dú)特見(jiàn)解。希望本文的方法能夠作為可提示 3D 分割的基礎(chǔ)基準(zhǔn)，鼓勵(lì)進(jìn)一步研究以充分發(fā)揮 SAM 2 在 3D 領(lǐng)域的潛力。
本文轉(zhuǎn)自 AI生成未來(lái) ，作者：AI生成未來(lái)
