本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

24年1月論文“Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data“，來自香港大學、字節、浙江實驗室和浙江大學。

這項工作提出了Depth Anything，這是一種用于魯棒單目深度估計的解決方案。目標是建立一個簡單而強大的基礎模型，在任何情況下處理任何圖像。為此，設計一個數據引擎來收集和自動注釋大規模未標記數據（～62M），從而大大擴大了數據覆蓋范圍，這樣能夠減少泛化誤差，從而擴大數據集的規模。作者研究了兩種簡單而有效的策略，這兩種策略使數據增強更有希望。首先，利用數據增強工具創建了一個更具挑戰性的優化目標。它迫使模型積極尋求額外的視覺知識并獲得穩健的表示。其次，開發了一種輔助監督，強制該模型從預訓練的編碼器繼承豐富的語義先驗。作者對其零樣本功能進行了廣泛評估，包括六個公共數據集和隨機拍攝的照片。它展示了很好的泛化能力。此外，利用來自NYUv2和KITTI的深度信息對其進行微調，設置新的SOTA。更好的深度模型也產生了更好的以深度為條件模型ControlNet。

如圖所示是一些深度估計的例子：

單目深度估計（MDE）是一個在機器人[65]、自主駕駛[63，79]、虛擬現實[47]等領域有廣泛應用的基本問題，它還需要一個基礎模型來估計單個圖像的深度信息。然而，由于難以構建具有數千萬深度標簽的數據集，這一點一直沒有得到充分的探索。MiDaS[45]通過在混合標記數據集上訓練MDE模型，沿著這一方向進行了開創性的研究。盡管表現出一定水平的零樣本能力，但MiDaS受其數據覆蓋范圍的限制，因此在某些情況下表現不佳。

傳統上，深度數據集主要通過從傳感器[18，54]、立體匹配[15]或SfM[33]獲取深度數據來創建，這在特定情況下是昂貴、耗時甚至難以處理的。相反，本文關注大規模的未標記數據。與立體圖像或深度傳感器的標記圖像相比，單目未標記圖像具有三個優點：（i）（獲取簡單且便宜）單目圖像幾乎無處不在，因此易于收集，無需專門的設備。（ii）（多樣性）單目圖像可以覆蓋更廣泛的場景，這對模型的泛化能力和可擴展性至關重要。（iii）（易于注釋）簡單地使用預訓練的MDE模型為未標記的圖像分配深度標簽，這只需要前饋推理步驟。更高效的是，這還產生了比激光雷達[18]更密集的深度圖，并省略了計算密集的立體匹配過程。

Depth Anything

作者的工作利用標記和未標記的圖像來促進更好的單目深度估計（MDE）。形式上，標記集和未標記集分別表示為Dl和Du。工作目標是從Dl學習教師模型T。然后，利用T為Du分配偽深度標簽。最后，在標記集和偽標記集的組合上訓練了一個學生模型S。如圖提供了一個簡短的說明，流水線包括如下。實線：標記的圖像流，虛線：未標記的圖像，特別強調大規模未標記圖像的價值，S表示添加強擾動。為了使深度估計模型具有豐富的語義先驗，在在線的學生模型和凍結的編碼器之間強制執行輔助約束，保持語義能力。

學習標記的圖像

這個過程類似于MiDaS[5，45]的訓練。然而，由于MiDaS沒有發布代碼，首先復現算法。具體地說，深度值首先通過d=1/t轉換到視差空間，然后在每個深度圖上歸一化為0～1。在訓練中，其采用仿射不變性損失。

為了獲得穩健的單目深度估計模型，從6個公共數據集收集了1.5M的標記圖像。下表列出了這些數據集的詳細信息。

與MiDaS v3.1[5]（12個訓練數據集）相比，本文使用的標記數據集更少，因為1）不使用NYUv2[54]和KITTI[18]數據集來確保對其進行零樣本評估，2）一些數據集（不可用），例如Movies[45]和WSVD[60]，以及3）一些數據集中表現出較差的質量，例如RedWeb（也是低分辨率）[66]。盡管使用了更少的標記圖像，易于獲取和多樣化的未標記圖像將提高數據覆蓋率，并大大增強模型的泛化能力和穩健性。

此外，為了加強從這些標記圖像中學習的教師模型T，采用DINOv2[42]預訓練的權重來初始化編碼器。在實踐中，用預訓練的語義分割模型[69]來檢測天空區域，并將其視差值設置為0（最遠）。

釋放無標記圖像的能力

與之前費力構建不同標記數據集的工作不同，本文強調未標記圖像在增強數據覆蓋率方面的價值。如今可以從互聯網或各種任務的公共數據集中實際構建一個多樣化的、大規模的未標記集合。此外，可以毫不費力地獲得單目未標記圖像的密集深度圖，只需將它們轉發到預訓練的、性能良好的MDE模型即可。這比對立體圖像或視頻執行立體匹配或SfM重建要方便和高效得多。選擇了八個大規模的公共數據集作為其不同場景的未標記來源。它們總共包含6200多萬張圖片。

不幸的是，在試點研究中，未能通過這種自訓練流水線獲得改進，這確實與只有少數標記圖像時的觀察結果相矛盾[55]。對于已經足夠的標記圖像，從額外的未標記圖像中獲取的額外知識是相當有限的。特別是考慮到教師和學生共享相同的預訓練和架構，即使沒有明確的自訓練程序，也傾向于對未標記集Du做出類似的正確或錯誤預測。

為了解決這一困境，建議用一個更難的優化目標來挑戰學生，獲得未標記圖像上的額外視覺知識。在訓練過程中向未標記的圖像注入強擾動。它迫使學生模型積極尋求額外的視覺知識，并從這些未標記的圖像中獲得不變的表示。這些優勢有助于模型更有力地應對開放世界。作者引入兩種形式的擾動：一種是強顏色失真，包括顏色抖動和高斯模糊，另一種是強烈的空間失真，即CutMix[83]。盡管簡單，但這兩個修改使大規模未標記圖像顯著提高了標記圖像的基線。

CutMix的訓練采用無標記圖像損失，來自隨機內插的一對無標記圖像。

語義輔助感知

有一些工作[9，21，28，71]通過輔助語義分割任務來改進深度估計。這種高級語義相關信息在深度估計模型上是有益的。此外，在用未標記圖像的特定背景下，這些來自其他任務的輔助監督信號也可以對抗偽深度標簽中的潛在噪聲。

因此，初步嘗試用RAM[85]+GroundingDINO[37]+HQ-SAM[26]模型的組合，仔細地為未標記的圖像分配語義分割標簽。在后處理之后，這產生了一個包含4K類別的類空間。在聯合訓練階段，該模型通過共享編碼器和兩個單獨的解碼器來產生深度和分割預測。不幸的是，經過反復試驗，仍然無法提高原始MDE模型的性能。將圖像解碼到離散類空間中確實會丟失太多的語義信息。這些語義掩碼中的有限信息很難進一步提升深度模型，尤其是當深度模型建立了非常有競爭力的結果。

因此，工作目標是尋找更多信息的語義信號，作為深度估計任務的輔助監督。對DINOv2模型[42]在語義相關任務中的強大性能感到非常驚訝，例如，圖像檢索和語義分割，即使在沒有任何微調的情況下使用凍結權重。受這些線索的啟發，建議將其強大的語義能力轉移到具有輔助特征對齊損失的深度模型中。特征空間是高維和連續的，因此包含比離散掩碼更豐富的語義信息。

作者沒有遵循一些工作[19]將在線特征f投影到一個新空間中進行對齊，因為隨機初始化的投影器在早期階段造成的大對齊損失主導了整體損失。

特征對齊的另一個關鍵點是，像DINOv2這樣的語義編碼器傾向于為目標的不同部分產生相似的特征，例如汽車的前部和后部。然而，在深度估計中，不同部分甚至同一部分內的像素可以具有不同的深度。因此，窮盡性地強制深度模型產生與凍結編碼器完全相同的特征，是無益的。

為了解決這個問題，作者為特征對齊設置了容忍差α。如果余弦相似性已經超過α，則在特征對齊損失中不考慮該像素。這使得該方法既可以享受來自DINOv2的語義-覺察表示，也可以享受來自深度監督的部件-級鑒別表示。作為副作用，產生的編碼器不僅在下游MDE數據集中表現良好，而且在語義分割任務中也取得了很好的效果。它還表明了編碼器作為一種通用的多任務編碼器用于中級和高級感知任務的潛力。

最后，總損失是仿射不變性損失、無標記損失和特征對齊損失的平均組合。

原文鏈接：https://mp.weixin.qq.com/s/jyAvjoonk557UwZci1zdBQ