摘要

現有的感知模型通過從大量標記數據中學習取得了巨大成功，但在開放世界場景中仍存在困難。為緩解這一問題，研究人員引入開放集感知任務，以檢測或分割訓練集中未見過的對象。然而，這些模型在推理時需要預定義的對象類別作為輸入，而在現實場景中無法獲取這些類別。最近，研究人員提出了一個新的、更實際的問題，即開放式目標檢測，它在沒有任何對象類別作為輸入的情況下發現未見對象。在本文中，我們提出 VL-SAM，這是一個免訓練框架，它將通用對象識別模型（即視覺語言模型）與通用對象定位模型（即分割一切模型）相結合，以解決開放式目標檢測和分割任務。無需額外訓練，我們使用注意力圖作為提示連接這兩個通用模型。具體而言，我們設計了一個注意力圖生成模塊，通過頭部聚合和正則化的注意力流，在視覺語言模型的所有頭部和層中聚合和傳播注意力圖，從而生成高質量的注意力圖。然后，我們使用提示生成模塊從注意力圖中迭代采樣正樣本點和負樣本點，并將采樣點發送給分割一切模型（SAM）以分割相應的對象。在長尾實例分割數據集（LVIS）上的實驗結果表明，我們的方法在目標檢測任務上優于先前的開放式方法，并且可以提供額外的實例分割掩碼。此外，VL-SAM 在極端情況目標檢測數據集（CODA）上取得了良好的性能，證明了 VL-SAM 在實際應用中的有效性。而且，VL-SAM 表現出良好的模型泛化性，可以結合各種視覺語言模型和分割一切模型。

1、引言

深度學習在感知任務中取得了顯著成功，自動駕駛就是一個典型的實際應用。現有的基于深度學習的感知模型依賴大量有標記的訓練數據來學習識別和定位對象。然而，訓練數據無法涵蓋現實場景中的所有對象類型。當面對分布外的對象時，現有的感知模型可能無法識別和定位對象，這可能導致嚴重的安全問題。

許多開放世界感知方法被提出來解決這個問題。開放世界感知試圖在動態和不可預測的環境中給出精確結果，這些環境包含新的對象并涉及場景領域的轉移。當前的開放世界感知方法大致可分為兩類：開放集和開放式。開放集方法通常使用預訓練的 CLIP 模型計算圖像區域與類別名稱之間的相似性。因此，在推理過程中，它們需要預定義的對象類別作為 CLIP 文本編碼器的輸入。然而，在許多現實應用場景中，我們沒有確切的預定義對象類別。例如，在自動駕駛中，自動駕駛汽車可能會遇到意外的對象，包括各種珍稀動物。此外，有些對象不能用簡單的類別名稱來表示，比如穿著動物服裝的人，看起來像動物但實際上是人。一些方法使用通用障礙物檢測來處理未知對象。然而，許多東西沒有明顯的三維形狀，比如地面上的坑洼或顆粒。因此，開放集方法無法處理所有情況。相比之下，開放式方法更通用、更實用，因為它們可以自己預測對象類別和位置。

在另一項研究中，大型視覺語言模型（VLMs）顯示出強大的通用對象識別能力，例如，它可以識別自動駕駛場景中極端情況下的罕見對象。然而，視覺語言模型的定位能力比特定的感知模型更不準確，有時會遺漏對象或給出錯誤的定位結果。另一方面，作為一個純粹的視覺模型，分割一切模型（SAM）對來自許多不同領域的圖像表現出良好的通用分割能力。然而，分割一切模型無法為分割出的對象提供類別，并且可能會產生許多不相關的分割結果。

在本文中，我們建議將現有的通用對象識別模型（即視覺語言模型）與通用對象定位模型（即分割一切模型）相結合，以解決開放式目標檢測和分割任務。我們提出 VL-SAM，這是一個免訓練框架，它使用注意力圖作為中間提示連接兩個通用模型，如圖 1 所示。具體來說，我們利用視覺語言模型在描述整個駕駛場景時生成的注意力圖來提示分割一切模型進行分割。首先，給定視覺語言模型生成的標記，我們使用該標記作為查詢，從視覺語言模型的所有層和頭中獲取注意力圖。然后，在注意力圖生成模塊中，我們引入頭部聚合和注意力流機制，通過所有的頭和層聚合和傳播全局注意力圖。此外，為了緩解在使用注意力流傳播時因果掩碼導致的注意力崩潰問題，我們采用一個正則化項來約束注意力流傳播過程。之后，為了更好地引導分割一切模型使用注意力圖進行分割，我們提出一個提示生成模塊，通過分組和采樣正樣本點和負樣本點作為分割一切模型的點提示。此外，為了減少遺漏對象的數量，我們進一步使用分割一切模型的分割結果從注意力圖中迭代采樣正樣本點和負樣本點，直到收斂。

圖 1：VL-SAM 示意圖。無需額外訓練，我們使用注意力圖作為中間提示連接視覺語言模型和分割一切模型。

這項工作的主要貢獻總結如下：

?我們提出了 VL-SAM，這是一個免訓練的開放式目標檢測和分割框架，它使用注意力圖作為提示連接通用對象識別模型和通用對象定位模型。

?我們引入了頭部聚合和正則化的注意力流機制，通過因果掩碼在所有頭和層中聚合和傳播注意力圖。

?我們提出了一種帶有注意力圖正樣本點和負樣本點采樣策略的迭代優化流程。

?VL-SAM 在長尾實例分割數據集 LVIS 上優于開放式方法 GenerateU，并且與現有的開放集方法相比取得了有競爭力的結果。在自動駕駛應用中，VL-SAM 在 CODA 數據集上實現了良好的極端情況目標檢測性能。

2、相關工作

2.1 視覺語言模型

大型語言模型（LLMs），包括 GPT-3、GLM 和 LLaMA，已經展示出類似人類的對話和推理能力。然而，大型語言模型處理和理解視覺數據的能力有限，限制了其在更多現實場景中的應用。為了克服這一問題，前沿的視覺語言模型（VLM）應運而生，為應用開辟了新的前景。最近，BLIP-2 提出了 Q-Former，通過三種對齊預訓練損失連接和融合圖像和文本嵌入。LLaMA-Adapter、LLaVA 和 MiniGPT 引入了適配器或投影層來對齊圖像和文本的嵌入空間。CogVLM 提出了視覺專家模塊，將圖像特征轉換為與不同 Transformer 頭中的文本特征對齊。SPHINX 利用多種混合技術處理多個視覺任務。此外，CogAgent 和 LLaVA-Phi 將視覺語言模型視為一個智能體或助手來完成各種任務。現有的視覺語言模型，特別是 GPT-4V，在理解和推理新的或罕見的情況方面表現出很強的泛化能力，例如，它可以處理自動駕駛中的極端情況。然而，視覺語言模型的定位能力比特定的感知模型（如分割一切模型）弱。

在本文中，我們為視覺語言模型配備通用分割模型（即分割一切模型），以解決視覺語言模型在開放式目標檢測和分割中的定位限制問題。我們通過使用注意力圖作為提示連接兩個模型，無需額外訓練。

2.2 開放世界目標檢測和分割

隨著 CLIP 模型的出現，開放世界分類、目標檢測和實例分割同時取得了很大進展。開放世界方法試圖在推理過程中發現和識別訓練集中未見過的對象。目前的開放世界方法大致可分為兩類：開放集和開放式。開放集方法在推理時需要重新定義對象類別（包括訓練集中見過的和未見過的對象）作為輸入。相比之下，開放式方法可以同時定位見過和未見過的對象并生成它們的名稱，就像當前的視覺語言模型所做的那樣。在現實應用中，感知模型可能不知道確切的類別。例如，在自動駕駛中，自動駕駛汽車經常在路上遇到未知對象，包括翻車和各種形狀的工程車輛。因此，開放式問題更通用、更實際。

?開放集方法：憑借 CLIP 強大的文本 - 圖像嵌入匹配能力，當前的開放集目標檢測方法主要使用提議網絡獲取前景對象的邊界框和嵌入，然后使用 CLIP 作為開放集分類模塊來預測它們的類別。最近，GLIP 提議使用短語定位來預訓練開放世界目標檢測器。GroundingDINO 提出跨模態融合，將文本信息引入圖像編碼器進行對象定位。SWORD 設計了一種新穎的對比方法來學習實例分割中前景和背景之間的差異。YOLO-World 引入了一種 “提示 - 然后檢測” 范式用于實時開放世界目標檢測。然而，上述方法需要預定義的對象類別作為文本編碼器的輸入。

?開放式方法：GenerateU 首先提出了開放式問題。同時，DetCLIPv3 引入了類似的開放式概念。它們提出了一個帶有語言模型的生成框架，同時生成對象類別和邊界框。為了實現更好的泛化能力，它們構建了一個包含邊界框和字幕對的大型數據集，并在構建的數據集上對整個網絡進行微調。

相比之下，我們提出了一個免訓練的開放式框架 VL-SAM，它結合了通用識別和分割模型。VL-SAM 可以使用通用識別模型生成對象類別，然后使用通用分割模型定位對象。

圖 2：VL-SAM 框架概述。我們首先使用視覺語言模型描述輸入圖像并生成所有可能的對象名稱。然后，對于每個對象名稱，我們使用注意力圖生成模塊獲得相應的注意力圖。最后，我們從注意力圖中采樣點提示并將它們發送到分割一切模型，以預測檢測和分割結果。

3、方法

如圖 2 所示，我們給出了所提出框架的概述。我們分別使用視覺語言模型和分割一切模型作為通用對象識別模型和對象定位模型。給定圖像輸入，我們首先使用視覺語言模型描述場景并列出圖像中所有可能的對象。然后，對于每個對象，我們使用帶有頭部聚合和注意力流的注意力生成模塊從視覺語言模型中獲得高質量的注意力圖。最后，我們從注意力圖生成點提示，并迭代地將它們發送到分割一切模型以獲得位置預測。

3.1 預備知識

?分割一切模型：分割一切模型是一種基于提示的分割模型，具有出色的數據生成能力。它由三個組件組成：圖像編碼器、掩碼解碼器和提示編碼器。分割一切模型將圖像和一組提示（包括點、框和掩碼）作為輸入。為了使用提示分割對象，分割一切模型首先使用圖像編碼器提取圖像特征。同時，這組提示被發送到提示編碼器轉換為提示令牌。然后，圖像特征、提示令牌和掩碼令牌在掩碼解碼器中通過雙向 Transformer 進行交互。最后，掩碼令牌通過與 MaskDINO 類似的方式，與圖像特征相乘轉換為多尺度分割掩碼。

?基于自回歸的視覺語言模型：當前基于自回歸的視覺語言模型在各種視覺語言任務中取得了驚人的性能。當前視覺語言模型的主流框架包括四個部分，即圖像編碼器、文本標記器、投影層和語言解碼器。給定圖像和文本作為輸入，視覺語言模型分別使用圖像編碼器和文本標記器提取圖像令牌和文本令牌。然后，通過投影層將圖像令牌與文本令牌對齊。之后，將來自兩個模態的令牌連接起來并發送到語言解碼器以生成文本輸出。語言解碼器采用下一個令牌預測范式，即當前生成令牌x_{t}的概率取決于所有先前的令牌(x_{1}, x_{2}, ..., x_{t-1})。

圖 3：頭部聚合。我們使用注意力頭權重聚合來自所有注意力頭的信息。

圖 4：注意力流。我們使用注意力流從第一層傳播注意力到最后一層

3.2 注意力圖生成

VL-SAM 的主要思想是使用對象的注意力圖作為分割一切模型進行分割的提示。因此，如何為對象生成高質量的注意力圖至關重要。為了實現這一點，我們引入注意力流，在視覺語言模型的所有 Transformer 頭和層中聚合和傳播注意力圖。

具體來說，給定圖像輸入，我們讓視覺語言模型給出圖像中所有可能的對象。在此過程中，我們緩存來自視覺語言模型的所有查詢和鍵。然后，我們將查詢和鍵與因果掩碼相乘，并進行 SoftMax 歸一化，以獲得相似度矩陣S \in N ×N ×H ×L，其中N是查詢和鍵的長度，H是 Transformer 頭的數量，L表示 Transformer 層的數量。S_{i, j}^{h, l}表示頭h、層l中查詢i和鍵j之間的相似度。之后，我們使用平均最大注意力頭權重聚合來自所有 Transformer 頭的信息，如圖 3 所示。具體而言，我們選擇矩陣S在維度j上的最大相似度權重，并在維度i上求平均，以獲得注意力頭權重W \in 1 ×1 ×H ×L：

W = Mean(Max(S, dim=1), dim=0)

圖 5：注意力崩潰示意圖。對于每一列，從左到右，我們展示了圖像輸入、注意力流（崩潰）、正則化注意力流，以及視覺語言模型生成的答案。

（問題：“列出路上的所有物體。”

答案：在路上，有車輛（一輛紅色卡車和一輛藍色公共汽車）、路標、人行橫道、白色障礙物，還有一些從圖像中無法清晰識別的較小物體。

問題：“列出路上的所有物體。”

答案：在路上，有車輛（包括一輛白色 SUV 在前景）、交通信號燈、道路標記、人行橫道，以及一個裝滿瀝青修補材料的坑洼。

問題：“列出路上的所有物體。”

答案：路上的物體包括一輛白色公共汽車、一輛黃色卡車、交通錐，以及一個穿著迷彩服的人。）

顯然，注意力頭權重表示每個頭在每一層中的重要性。然后，我們將注意力頭權重與相似度矩陣S逐元素相乘，并對所有頭求平均，如下所示：

S' = Mean(S \odot W, dim=2)

在聚合了來自所有頭的所有信息之后，我們使用注意力流進一步聚合來自所有層的注意力，如圖 4 所示。具體來說，我們使用注意力展開方法計算從層l-1到層l的注意力，如下所示：

其中I是單位矩陣。在注意力展開之后，我們只需要最后一層的注意力圖。為了獲得生成令牌的圖像注意力圖，我們從\bar{S}^{L}中選擇相應的行和列。

然而，由于視覺語言模型在自回歸生成中使用因果掩碼，簡單地采用注意力展開方法會導致注意力崩潰，如圖 5 所示。幸運的是，我們發現了一個簡單的正則化項，可以有效地緩解這個問題。具體來說，對于每一列，假設未掩碼的長度為L_{0}，我們將該列中的每個值乘以1-(L_{0}-1) / L。有了這個正則化項，左上角的注意力值將受到約束。

3.3 分割一切模型提示生成

在 3.2 節中生成的注意力圖存在一些不穩定的誤報峰值。為了過濾這些誤報區域，我們首先使用閾值過濾弱激活區域，并找到最大連通區域作為正區域。其余區域作為負區域。之后，我們從正區域中采樣具有最大激活值的正樣本點，從負區域中采樣具有最弱激活值的負樣本點。正樣本點和負樣本點作為分割一切模型的點提示對。

3.4 迭代優化

分割一切模型解碼器的分割結果可能包含粗糙的邊緣和背景噪聲。我們采用兩種迭代策略進一步優化分割結果。在第一種迭代策略中，我們遵循 PerSAM 中的級聯后優化方法，將使用正樣本點和負樣本點對生成的初始分割掩碼作為分割一切模型解碼器的額外提示輸入。在第二種迭代策略中，我們使用第一種迭代策略中的分割掩碼對注意力圖\bar{S}'進行掩碼操作。然后，我們從掩碼后的注意力圖中使用 3.3 節中的提示生成方法迭代生成正樣本點和負樣本點對，并將它們發送到分割一切模型解碼器。最后，我們使用非極大值抑制（NMS）聚合結果。

3.5 多尺度集成

由于視覺語言模型中圖像編碼器的圖像輸入分辨率較低，視覺語言模型可能無法識別小物體。例如，它可能會生成這樣的答案：“在路上，有車輛（一輛紅色卡車和一輛藍色公共汽車）、路標、人行橫道、白色障礙物，還有一些從圖像中無法清晰識別的較小物體”。為了緩解這個問題，我們仿照 SPHINX 的做法，將一幅大小為(H×W)的圖像從四個角分割成四個大小為(H/2×W/2)的子圖像 ，并將每個子圖像獨立輸入到 VL-SAM 中。最后，我們將 VL-SAM 對四個子圖像和原始整幅圖像的輸出結果進行集成。

3.6 問題提示集成

視覺語言模型的輸出對輸入提示很敏感。為了更全面地描述輸入圖像，我們讓視覺語言模型用 “如果我們想讓你列出給定圖像中所有可能的物體，我們應該問什么問題？請給出你認為合適的 10 個問題” 這句話來生成 10 個用于場景描述的問題提示。然后，我們使用生成的問題提示讓 VL-SAM 分割物體，并對所有問題提示的輸出進行集成。

4、實驗

4.1 實現細節

我們選擇帶有 EVA2-CLIP-E 的 CogVLM-17B 和 Vicuna-7B-v1.5 作為視覺語言模型。CogVLM-17B 將大小為 490×490 的圖像劃分為 35×35 的圖像塊。我們將 CogVLM-17B 的溫度設置為 0.8，核采樣的 top-p 值設置為 0.1。對于生成的定位模型，我們使用配備 ViT-Huge 的分割一切模型。

我們以無需訓練的零樣本方式在所有數據集上評估 VL-SAM。為了從視覺語言模型生成的句子中獲取物體類別，我們仿照 Tag2Text 的做法，從給定句子中解析標簽。為了在具有預定義物體類別名稱的數據集上評估開放式性能，我們仿照 GenerateU 的做法，采用 CLIP 文本編碼器，并將生成的物體類別映射到數據集中的預定義類別進行評估。具體來說，我們使用文本提示 “一個 {物體類別}” 作為 CLIP 文本編碼器的輸入，計算生成的物體類別與預定義類別之間的相似度，以進行映射。所有模型的推理都在一臺配備 80G A800 的機器上進行。

4.2 主要結果

?LVIS 數據集：我們在 LVIS 數據集上評估 VL-SAM，該數據集的類別分布呈長尾狀，包含超過 1000 個物體類別的注釋。仿照之前的研究，我們主要在 LVIS 小型驗證集上評估 VL-SAM，并報告稀有物體的固定平均精度（AP）。

如表 1 所示，我們列出了三類感知方法的性能，即封閉集、開放集和開放式。開放集和開放式的區別在于，開放集需要確切的物體類別先驗知識作為輸入，而開放式可以在推理過程中以零樣本的方式生成這些類別。在實際場景中，我們通常不知道場景中預定義的物體類別。因此，開放式方法更通用、更實用。可以看出，VL-SAM 在稀有物體平均精度（AP）上比 GenerateU 高出 3.4。值得注意的是，VL-SAM 是一個無需訓練的框架，可以同時獲得邊界框和分割掩碼。相比之下，GenerateU 需要在視覺基因組（VG）和 GRIT 數據集上對圖像編碼器和語言模型進行微調，這需要大量的訓練成本，并且只能預測邊界框。此外，VL-SAM 與開放集檢測方法和封閉集分割方法相比，分別在檢測和分割性能上具有競爭力。

?CODA 數據集：為了進一步證明所提方法在實際應用中的有效性，我們在表 2 中展示了 VL-SAM 在自動駕駛極端情況目標檢測數據集 CODA 上的結果。具體來說，我們可以看到，區域提議網絡（RPN）的平均召回率（mAR）僅為 10.6，這表明當前依賴物體提議的開放集檢測器在處理極端情況時存在困難。對于更新的開放集檢測器，它們使用 CLIP 作為物體類別預測器，獲得了更高的平均召回率。對于開放式方法，LLaVA-Grounding 將視覺語言模型和定位模型集成到一個模型中，比開放集方法表現更好。然而，將視覺語言模型和定位模型集成到一個模型中需要對兩個模型進行聯合訓練，這會增加額外的訓練成本。相比之下，VL-SAM 是一個無需訓練的框架，平均召回率從 LLaVA-Grounding 的 18.4 大幅提升到 40.1。

此外，我們評估了當前分割一切模型的性能上限。我們使用真實邊界框作為分割一切模型解碼器的框提示來分割物體。可以觀察到，在這種設置下，分割一切模型的平均召回率達到 54.1，50 次召回率（AR_{50}）達到 94.1，因為分割一切模型在分割任務上存在局限性，它有時會對物體進行過度或欠分割，無法獲得完美的分割結果。盡管如此，VL-SAM 達到了這個性能上限的 74.1% 的平均召回率，證明了所提框架的有效性。總體而言，VL-SAM 在 CODA 數據集上取得了良好的性能。

4.3 消融實驗

?主要組件：如表 3 所示，我們在 CODA 數據集上進行消融實驗，分析 VL-SAM 每個組件的有效性。對于基線樸素注意力方法，我們使用最后一層的注意力圖并對所有注意力頭求平均。可以看到，即使使用多尺度和問題集成技術，樸素注意力基線的結果也不理想。使用我們提出的注意力生成模塊，我們將基線的平均召回率提高了 7.9。通過提示生成添加點對使平均召回率提高了 2.2。此外，使用迭代優化模塊優化分割圖，將檢測性能從 12.3 的平均召回率提升到 14.1。此外，多尺度圖像輸入和問題提示集成分別使平均召回率提高了 13.2 和 12.8。盡管多尺度和問題提示集成顯著提高了性能，但如果沒有我們提出的組件，這兩種集成技術并不有效。總之，結果顯示了 VL-SAM 中每個組件的有效性。

?注意力生成：為了從視覺語言模型中獲得高質量的注意力圖，我們引入注意力頭權重來融合 Transformer 頭，并為注意力流添加正則化項。如表 4 所示，由于因果掩碼導致的注意力崩潰，簡單使用注意力流幾乎無法讓分割一切模型識別物體（見圖 5）。有了正則化項，注意力流機制比樸素注意力方法表現更優，平均召回率提高了 6.3。此外，融合注意力頭權重使平均召回率提高了 1.6。

?模型泛化性：為了證明 VL-SAM 框架的模型泛化能力，我們采用另外兩種流行的視覺語言模型 MiniGPT-4 和 LLaVA 來替代 CogVLM，并使用 MobileSAM 替代分割一切模型。在表 5 中，我們展示了在 VL-SAM 框架中使用這些模型的結果。實驗結果表明，用 MiniGPT-4 或 LLaVA 替代 CogVLM 可能會降低極端情況下的物體定位性能，因為 CogVLM 在多模態對話和推理能力上比 MiniGPT-4 和 LLaVA 更強。這表明我們的 VL-SAM 框架可以從更強大的視覺語言模型中受益。此外，用更輕量級但精度較低的 MobileSAM 替代分割一切模型也會導致性能下降。盡管如此，所有這些結果都優于表 2 中的先前方法（18.4 的平均召回率）。這證明了我們的框架可以推廣到多種視覺語言模型和分割模型。

5、局限性

由于我們結合視覺語言模型和分割一切模型來解決開放式目標檢測和分割任務，VL-SAM 繼承了視覺語言模型和分割一切模型的缺陷。第一個缺陷是視覺語言模型中的幻覺問題。VL-SAM 也存在幻覺現象，會生成錯誤的物體令牌和注意力圖。第二個缺陷是 VL-SAM 的推理速度較慢。然而，這些缺陷在未來是可以解決的。例如，有許多更高效的分割一切模型變體，包括 EfficientSAM 和 MobileSAM。我們的框架可以從這些新模型中受益，因為我們可以輕松地用這些更高效、高精度的模型替代 VL-SAM 中的 CogVLM 和分割一切模型。

6、結論

在本文中，我們介紹了 VL-SAM，這是一個通過注意力圖級聯視覺語言模型和分割一切模型的框架，用于解決開放式目標檢測和分割任務。無需額外訓練，我們將視覺語言模型生成的注意力圖作為分割一切模型分割物體的提示。我們引入注意力流機制來聚合高質量的注意力圖。此外，我們提出了一種帶有正樣本點和負樣本點對采樣策略的迭代優化流程，以獲得更準確的分割掩碼。在長尾通用實例分割數據集 LVIS 上的實驗結果表明，VL-SAM 擊敗了開放式方法 GenerateU，并且與封閉集和開放集方法相比取得了有競爭力的性能。此外，VL-SAM 在極端情況目標檢測數據集 CODA 上也取得了良好的結果。

本文轉載自公眾號AIRoobt ，作者：Zhiwei Lin等

原文鏈接：??https://mp.weixin.qq.com/s/tnO7DWGoZi_JQq3h04yVUw??