本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

論文地址：

https://dino-tracker.github.io/assets/dino_tracker.pdf

開源地址：

https://dino-tracker.github.io/

01 問題引入

近年來，在視頻中建立密集點對應關系這一研究取得了巨大進展。在短期的密集運動估計方面，比如光流估計，研究界的關注焦點是監督學習——設計強大的前饋模型，并在各種合成數據集上進行訓練，利用精確的監督信息。最近，這一趨勢擴展到了視頻中的長期點跟蹤領域。隨著新架構（如Transformers）和提供長期軌跡監督的新合成數據集的出現，各種監督跟蹤器被開發出來，展示了令人印象深刻的成果。

然而，精準的跟蹤視頻中每一個運動點對此類基于監督學習的方法而言是一個極大的挑戰：

首先，用于點跟蹤的合成數據集通常包含在不現實配置中的移動物體，相對于自然視頻中運動和物體的廣泛分布，這些數據集在多樣性和規模上受到限制；

此外，現有模型在跨越整個視頻時空范圍內聚合信息的能力仍然有限——這一點在長時間遮擋（例如在物體被遮擋之前和之后正確匹配一個點）中尤其重要。

為了應對這些挑戰，Omnimotion（也就是23年的Tracking Everything）提出了一種測試的優化框架，通過預計算的光流和視頻重建作為監督，將跟蹤提升到3D層面。這種方法通過優化給定測試視頻上的跟蹤器，本質上一次性解決了所有視頻像素的運動問題。然而，Omnimotion存在一個致命缺點：它嚴重依賴預計算的光流和單個視頻中的信息，沒有利用關于視覺世界的外部知識和先驗。

在本文中，作者提出了一種新方法，訓練與大量數據的學習結合起來，取長補短，形成一個針對特定視頻特征提取匹配再到追蹤優化框架，該框架結合由廣泛的無標簽圖像訓練的外部圖像模型學習到的強大特征表示。受到最近自監督學習巨大進展的啟發，作者的框架利用了預訓練的DINOv2模型——一個使用大量自然圖像進行預訓練的視覺Transformers。DINO的特征提取已經被證明能夠捕捉細粒度的語義信息，并被用于各種視覺任務，如分割和語義對應。

本項工作是首次將基于DINO提取的特征用于密集跟蹤的研究。 作者展示了使用原始DINO特征匹配可以作為一個強大的跟蹤baseline，但這些特征本身不足以支持亞像素精度的跟蹤。因此，作者的框架同時調整DINO的特征以適應測試視頻中的運動觀察，同時訓練一個直接利用這些精煉特征的跟蹤器。為此，作者設計了一個新的目標函數，通過在精煉特征空間中培養穩健的語義特征級別對應關系，超越了光流監督實現的效果。

▲圖1｜效果演示??【深藍AI】編譯

本文的核心貢獻包括：

首次利用預訓練的DINO特征進行點跟蹤；
提出了第一個結合測試時訓練和外部先驗的跟蹤方法；
在長時間，長遮擋的跟蹤方面顯著提升了性能。

02 實現細節

▲圖2｜全文方法總覽??【深藍AI】編譯

結合圖2，可以理解全文方法的pipeline：

對于給定的輸入視頻序列，此方法的目標是訓練一個跟蹤器 ，該跟蹤器接受查詢點作為輸入，并輸出一組位置估計，這個過程很容易理解，就是特征提取+匹配+預測，但是這里的特征提取采用了預訓練的 DINOv2-ViT 模型進行特征提取。如果各位對DINO還不太了解，請詳細閱讀下面這段介紹——

我們可以將DINO(Distillation with No Labels)理解為一種無標簽的學習訓練方法，它廣泛應用于計算機視覺領域，尤其是在自監督學習和特征表示學習中。DINO模型的一個顯著特點是利用Vision Transformer(ViT)架構進行訓練，無需人工標注數據，通過自監督的方式學習圖像的語義特征，DINO有三個最顯著的特點：

●無需標簽數據：通過自監督學習方法，DINO 能夠有效減少對大量人工標注數據的依賴，從而降低數據準備的成本和時間；
●高質量特征表示：由于使用了 Vision Transformer 和對比學習策略，DINO 可以學習到更加語義豐富和泛化能力強的特征表示；
●靈活適應多種任務：DINO 所學習到的特征表示不僅適用于圖像分類，還可以通過微調，適用于其他各種視覺任務，如目標檢測和語義分割等。

DINO在本文中的應用：DINO 的預訓練特征為此方法的框架提供了初始的語義和局部表示，但缺乏準確的長時間跟蹤所需的時間一致性和細粒度定位。因此，此方法訓練了 Delta-DINO，這是一種特征提取器，用于預測預訓練 DINO 特征的殘差。
此方法的目標是優化這些特征，使它們可以作為“軌跡嵌入”，即沿著軌跡采樣的特征應該收斂到一個獨特的表示，同時保留原始的 DINO 先驗。這個過程實際上解決的是長距離的跟蹤問題，以往的方法往往不會對未來的位置進行預測，而是直接對下一幀圖像中相同的特征點進行匹配，這樣一旦遮擋物出現，特征點之間的匹配失敗，就會跟丟目標，而此方法的預測能力，能夠在遮擋物出現的時候通過將預測的點進行匹配，從而保證跟蹤的連續性。

2.1 跟蹤過程

DINO-Tracker的追蹤過程可以分為三個階段：特征提取+特征匹配+軌跡預測+全局一致優化。

關于特征提取，前文已經提到此方法主要采用預訓練的DINO框架進行特征點的提取，這一部分主要利用了DINO框架的靈活性和高質量的特征表達，提取后的特征會形成一個特征圖，用于后續的特征匹配。

在特征匹配階段，比起傳統的在特征點圖中進行對應匹配，本文還提出了一個額外的匹配方式，就是用DINO提取的特征對應關系用于補充訓練數據，提供額外的監督。通過識別“最佳配對點”提取可靠的匹配關系，其中每個點在一幀中的最近鄰匹配第二幀中的最近鄰。在訓練期間，精煉特征改進其表示并發現新的可靠對應關系，形成持續更新的精煉最佳配對點集合，實現高質量的特征點匹配，這樣得到的匹配關系更加精準，也為后續的長距離跟蹤和障礙物遮擋打下了基礎。

軌跡預測首先如前文所述，會訓練一個Delta-DINO來進行初步的新特征點預測，也就是預測下一幀中特征點可能出現的位置，然而這個預測往往會存在一定的誤差，此方法采自監督優化策略來優化這個誤差。具體而言，就是使用從測試視頻自動提取的監督信號來匹配沿軌跡的預測點。這些信號來自光流和DINO特征的對應關系。光流提供幀間精確的位移信息，通過鏈接這些位移創建短期軌跡。在預處理過程中，此方法通過計算出所有循環一致的光流對應關系，為短軌跡提供高質量的監督。筆者通俗地總結一下，軌跡預測分為兩個階段，第一階段中采用Delta-DINO預測下一幀出現的特征點，在第二階段中采用光流法計算當前特征點的位移信息，結合這個計算出來的位移信息以及預測得到的特征點信息進行聯合優化，最終確定預測的軌跡，實際上是一個“雙保險”的過程，光流發充分利用了已知的信息，Delta-DINO則使用了預訓練DINO模型的強大先驗。

通過特征提取+特征匹配，DINO-Tracker實現了每一幀中特征點的準確識別和配準，通過特征匹配+軌跡預測，實現了這一幀和下一幀的特征點準確跟蹤，這個過程不斷迭代，這就是DINO-Tracker能夠實現長距離跟蹤的核心。

2.2 遮擋處理

此方法還有一個很強的能力，就是對于遮擋的處理，圖3很好地說明了DINO-Tracker是如何在遮擋物出現的時候仍然保持魯棒跟蹤的原理。要處理遮擋場景，首先要有能力判斷遮擋的出現，這一點在本文中通過測量軌跡位移差實現，如圖3所示，作者選擇K1和K2作為錨點，計算追蹤點X0是否存在遮擋關系，從圖中來看，X0處的軌跡和K1與K2處的軌跡有明顯的位移差異，當這種位移差異出現的時候，就會判斷在X0處出現了遮擋。這個計算的原理十分簡單，目的就是為了提升速度！

想必各位都能發現，本文并不是實時處理遮擋關系的，而是通過當前幀與前兩幀來計算遮擋關系，如果判斷出現遮擋，就會及時優化修正前一幀中錯誤的追蹤，但是由于這樣的計算方式速度很快，這些都發生在電光火石之間，因此對于全局的追蹤速度沒有太大的影響。

當遮擋關系被計算得到之后，軌跡的預測就會派上用場了，前文中我們提到了對于軌跡預測的“雙保險”，即使用Delta-DINO預測下一幀的特征點位置+使用光流直接計算特征點位置共同進行預測，然而遮擋的關系出現會導致光流法失效，因此這個時候會賦予Delta-DINO更多的權重，從而保持跟蹤，當物體穿過遮擋物之后，光流又會繼續上線，幫助修正全局的跟蹤軌跡，通過這個過程實現了對于遮擋關系的處理。

很多人對此都會產生一個疑問：

如果遮擋關系出現得太久，一直依靠Delta-DINO的預測，是否會出現軌跡上的偏差？

答案是：一定會出現的。

在“透視”技術被研究出來之前，理論上來說沒有太好的方法能夠處理長時間的遮擋關系，但本文方法對于短時間能出現的遮擋關系的處理，已經堪稱“完美”，能夠應對大多數場景了！

▲圖3｜遮擋處理示意圖??【深藍AI】編譯

03 實驗效果

作者通過數值實驗和可視化實驗證明了本文方法的有效性，首先來看數值實驗。

▲圖4｜數值實驗結果??【深藍AI】編譯

從圖4中可以看到，作者在大部分的數據集中都超過了SOTA方法，并且這些SOTA方法大部分都不具備對于遮擋關系的處理能力。讀者可能會覺得似乎作者的指標沒有超出SOTA方法太多，我們需要注意的是，這里計算的是像素之間的距離，而由于投影關系，像素上個位數的差異經過投影變換到真實世界中，往往就會被放大到幾米甚至十幾米（根據不同的投影尺度），因此在這個領域，即便是很小的數值增長，也是很大的提升。

接下來是可視化實驗，這里作者主要體現了本文方法對于遮擋和長距離跟蹤的能力。

▲圖5｜可視化對比實驗??【深藍AI】編譯

從實驗結果上來看，本文方法在遮擋出現的時候依舊能夠實現魯棒的跟蹤，而對比方法基本上都會出現跟丟或者跟蹤出錯的問題（從圖5左圖看出），圖五的右圖主要體現的是長距離跟蹤，圖中的自行車選手在公路上“飆車”，速度很快，對比方法出現了不同程度的跟丟情況，而本文方法則死死“咬住”了目標，由此體現出本文方法的高性能。

▲圖6｜DINO特征點選取可視化??【深藍AI】編譯

圖6則可以看到DINO特征點提取的優勢，可以從圖中看到DINO提取的特征點十分均勻地分布在跟蹤物體的各個關鍵運動位置（關節，輪廓邊緣）這些部分是物體運動的重要追蹤位置，而其他對比方法則無法實現對這些關鍵位置的特征提取和魯棒的追蹤。

04 總結

本文提出了DINO-Tracker的追蹤框架，能夠很好地處理追蹤過程中出現的遮擋關系以及長距離的匯總問題。通過利用DINO模型強大的先驗知識，實現了對于任意物體的魯棒追蹤。DINO-Tracker不僅在短期內表現出色，還能在較長時間跨度內保持高精度的追蹤能力，這主要得益于其特征點軌跡預測方法能夠很好地忽略短時間內的遮擋，解決了追蹤任務中的一個關鍵難題。