D-FINE 的作者均來自中國科學技術大學。第一作者為中科大在讀博士生彭巖松 (https://scholar.google.com/citations?user=CTidez8AAAAJ&hl=zh-CN)，其研究方向為實時目標檢測以及神經形態視覺，已在 AAAI、ICCV、CVPR 等國際頂級會議上以第一作者身份發表多篇論文。本文由吳楓教授、孫曉艷教授和張越一副研究員共同指導，其他作者包括中科大博士生李和倍及碩士生吳沛熹。

引言

在當前內卷嚴重的實時目標檢測 (Real-time Object Detection) 領域，性能與效率始終是難以平衡的核心問題。絕大多數現有的 SOTA 方法僅依賴于更先進的模塊替換或訓練策略，導致性能逐漸趨于飽和。

為了打破這一瓶頸，來自中科大的研究團隊提出了 D-FINE，重新定義了邊界框回歸任務。不同于傳統的固定坐標預測，D-FINE 創新了兩種方法：細粒度分布優化 (FDR) 和全局最優定位自蒸餾 (GO-LSD)。通過將回歸任務轉化為細粒度的分布優化任務，D-FINE 不僅顯著簡化了優化難度，還能夠更精確地建模每條邊界的不確定性。此外，D-FINE 將定位知識 (Localization Knowledge) 融入到模型輸出，通過高效的自蒸餾策略在各層共享這些知識，因而在不增加額外訓練成本的前提下，實現了性能的進一步顯著提升。

• 論文標題: D-FINE: Redefine Regression Task of DETRs as Fine-grained Distribution Refinement
• 論文地址: https://arxiv.org/abs/2410.13842
• 項目地址: https://github.com/Peterande/D-FINE

憑借這些創新，D-FINE 在 COCO 數據集上以 78 FPS 的速度取得了 59.3% 的平均精度 (AP)，遠超 YOLOv10、YOLO11、RT-DETR v1/v2/v3 及 LW-DETR 等競爭對手，成為實時目標檢測領域新的領跑者。目前，D-FINE 的所有代碼、權重以及工具已開源，包含了詳細的預訓練教程和自定義數據集處理指南。

研究團隊分別使用 D-FINE 和 YOLO11 對 YouTube 上的一段復雜街景視頻進行了目標檢測。盡管存在逆光、虛化模糊和密集遮擋等不利因素，D-FINE-X 依然成功檢測出幾乎所有目標，包括背包、自行車和信號燈等難以察覺的小目標，其置信度、以及模糊邊緣的定位準確度明顯高于 YOLO11x。

細粒度分布優化 (FDR)

FDR (Fine-grained Distribution Refinement) 將檢測框的生成過程分解為：

1. 初始框預測：與傳統 DETR 方法類似，D-FINE 的解碼器會在第一層將 Object Queries 轉換為若干個初始邊界框。這些邊界框只用于初始化，不需要特別精確。

2. 細粒度的分布優化：與傳統方法不同，D-FINE 的解碼層不會直接預測新的邊界框，而是基于初始邊界框生成四組概率分布，并通過逐層優化對其進行調整。這些概率分布本質上是檢測框的一種「細粒度中間表征」。D-FINE 可以通過微調這些表征，不同幅度地獨立調整各邊緣。

具體流程如圖所示：

將邊界框回歸任務重新定義為 FDR 有以下優點：

1. 過程簡化：在傳統 L1 損失和 IoU 損失進行優化的基礎上，模型還通過標簽和預測結果之間的「殘差」進一步約束這些中間態的概率分布。這使得每個解碼層能夠更有效地關注當前的定位誤差。隨著層數增加，優化的目標變得更加簡單，從而簡化了整體的優化過程。

2. 對復雜場景的魯棒性更強：FDR 中概率的高低本質上反應了模型對邊界微調的自信程度。這使得 D-FINE 能夠在不同網絡深度下對每條邊的不確定性獨立建模，從而使模型真正地理解定位的好壞。在遮擋、運動模糊和低光照等復雜的實際場景下，D-FINE 表現出了更強的魯棒性，相比直接回歸四個固定值的方法要更為穩健。

3. 靈活的優化機制：D-FINE 通過加權求和將概率分布轉化為最終的邊界框偏移值。指數型加權函數 W (n) 保證了能夠在初始框準確時進行細微調整，在必要時提供大幅度修正。

4. 可擴展性：FDR 通過將回歸任務定義為同分類任務一致的概率分布預測問題，這使得目標檢測模型可以更好地受益于知識蒸餾、多任務學習和分布優化等更多領域的創新，從而更有效地適應和整合新的技術，突破傳統方法的局限。

全局最優定位自蒸餾機制 GO-LSD

GO-LSD (Global Optimal Localization Self-Distillation) 可以將知識蒸餾無痛應用到 FDR 框架檢測器。

基于 FDR 框架的目標檢測器既可以實現知識傳遞，又可以保持一致的優化目標。

新任諾貝爾物理學獎得主 Geoffrey Hinton 在《Distilling the Knowledge in a Neural Network》一文中提到：概率即 「知識」。FDR 將概率分布變成了網絡輸出，并搭載了定位知識 (Localization Knowledge)。因此，僅計算 KL 散度損失就能將這些「知識」從深層傳遞到淺層。由于 FDR 架構中每一個解碼層都共享一個共同目標，即減少初始邊界框與真實邊界框之間的殘差。因此最后一層生成的精確概率分布可以作為前面每一層的最終目標，并通過蒸餾引導前幾層。

由于 FDR 架構中每一個解碼層都共享一個共同目標：減少初始邊界框與真實邊界框之間的殘差；因此最后一層生成的精確概率分布可以作為前面每一層的最終目標，并通過蒸餾引導前幾層。

研究團隊在 FDR 的框架上進一步提出了全局最優定位自蒸餾 GO-LSD，在網絡層間實現了定位知識蒸餾，進一步擴展了 D-FINE 的能力，具體流程如圖：

FDR 與 GO-LSD 產生了一種雙贏的「合力」：隨著訓練的進行，最后一層的預測將變得越來越準確，其生成的軟標簽也能夠更好地幫助前幾層提高預測準確性。反過來，前幾層將更快地定位到準確位置。這相當于深層的優化任務得到了簡化，從而進一步提高了整體準確性。

實驗結果

在 COCO 數據集上，D-FINE-L 和 D-FINE-X 分別以 8.07 ms (124 FPS) 和 12.89 ms (78 FPS) 的時延取得了 54.0% 和 55.8% 的 AP，遠超其余所有實時目標檢測器，打敗了 YOLOv10 (53.2%，54.4%)、YOLO11 (53.4%，54.7%) 及 RT-DETRv2 (53.4%，54.6%)。

在 Objects365 上進行了簡單的有監督預訓練后，D-FINE 的準確率達到了 59.3% AP。在 paperwithcode 網站的 Real-Time Object Detection on MS COCO benchmark 上，D-FINE 的速度和性能都遠超其他方法，取得了 Top1 的成績。

相比 baseline RT-DETR，D-FINE-L 和 D-FINE-X 大幅降低了參數量和計算復雜度。在推理速度顯著提升的同時，分別取得了 1.8% 和 3.2% 的顯著性能提升。

更輕量化的 D-FINE-S 和 D-FINE-M 在 T4 GPU 上分別以 3.49 ms (287 FPS) 和 5.62 ms (178 FPS) 的時延下取得了 48.5% 和 52.3% 的 AP，超過 YOLOv10 (46.3%，51.1%)、YOLO11 (46.6%，51.2%) 及 RT-DETRv2 (48.1%，49.9%)。預訓練后，D-FINE-S 和 D-FINE-M 分別取得了 50.7% 和 55.1% 的 AP。

雖然 FDR 和 GO-LSD 能夠顯著提高性能，但不會直接讓網絡更快或更輕。為了解決這個問題，研究團隊對 DETR 架構進行了輕量化處理。這些調整不可避免地讓性能有所下降，但 D-FINE 方法最終實現了速度、參數、計算量與性能的平衡。下表展示了從 baseline 到 D-FINE 的逐步修改過程。每一步都含展示了模型在 AP 、參數量、時延以及 FLOPs 上的變化。

研究團隊對一系列非實時的 DETR 檢測模型應用了 FDR 和 GO-LSD。實驗證明，在幾乎沒有額外參數量和算力的情況下，最高提升了 5.3% 的 AP，證明了方法的魯棒性和泛化性。

根據消融實驗，含有 FDR 的檢測器和原始檢測器在速度、參數量和計算復雜度上幾乎沒有區別，可以實現無縫替換。

研究團隊分析了訓練成本，發現額外的時間和顯存消耗主要來自生成用于監督分布的 FGL Loss 標簽。通過對 D-FINE 進行的進一步優化，這些額外的訓練時間和顯存占用被控制在 6% 和 2% 以內，對整體影響很小。

D-FINE 預測的可視化

以下是 D-FINE 在各種復雜檢測場景中的預測結果。這些場景包括遮擋、低光照、運動模糊、景深效果和密集場景。可以看出，面對這些具有挑戰性的場景，D-FINE 能夠產生準確的定位結果。

下圖展示了第一層和最后一層的預測結果、對應四條邊的分布、以及加權后的分布。可以看出，預測框的定位會隨著分布的優化而變得更加精準。

總結和局限

D-FINE 將邊界框回歸轉化為逐層優化的概率分布預測，顯著提升了模型在多任務場景中的兼容性。D-FINE 為目標檢測模型的設計提供了一條新思路，后續可以考慮進一步挖掘 D-FINE 在跨任務學習和模型輕量化方面的潛力。

D-FINE 也有一些局限：相比于大模型， D-FINE 的輕量化版本對于性能提升不太明顯。這可能是因為淺層解碼器的預測精度不高，無法有效將定位信息傳遞給前幾層。

未來的研究可以考慮在提高輕量化模型定位能力的同時，避免增加推理延遲。一種思路是繼續改進架構設計，嘗試在訓練時引入額外的異構解碼層，在推理時丟棄這些層，保持模型的輕量化。如果訓練資源足夠，還可以直接用大模型對小模型進行蒸餾，而不是依賴自蒸餾。

思考和展望

2024 年，實時目標檢測領域經歷了多次版本迭代，YOLO 系列先后推出了 YOLOv9、YOLOv10，以及 YOLO11。而 DETR 系列則在 RT-DETR 之后，陸續推出了 LW-DETR、RT-DETRv2 和 RT-DETRv3。

這兩類模型的重要突破，實質上得益于相互借鑒和融合。RT-DETR 引入了 YOLO 的 RepNCSP 模塊，以替代冗余的多尺度自注意力層，通過重新設計輕量化的混合編碼器，實現了實時 DETR；而 YOLOv10 借鑒了 DETR 的匹配策略，通過訓練額外的一對一檢測頭，對密集 anchor 預測進行自動篩選，避免了 NMS 后處理，顯著提升了速度。此外，YOLOv10 和 YOLO11 也引入了自注意力機制，進一步增強了大尺度目標的檢測性能。

盡管這些改進取得了顯著的效果，但社區對未來的發展方向產生了疑問：在兩類模型趨于一致的背景下，實時目標檢測的下一步將如何發展？可以預見，在目標檢測這一競爭激烈的領域，繼續進行模塊替換的收益將逐漸減少，可能很快遇到瓶頸。

而基于傳統框架的訓練策略改進，或許對一些舊的網絡（如常用的 Deformable DETR）有效，但應用于最新的 SOTA 網絡時，往往難以取得明顯的提升，甚至可能產生負面影響。特別是對于計算資源有限的小型團隊，即使是精妙的訓練策略，若缺乏大規模的超參數搜索，也難以取得預期的效果。

D-FINE 的出現，為目標檢測帶來了全新的思路。通過引入 FDR 和 GO-LSD，D-FINE 重新定義了目標檢測中的邊界框回歸任務。這種創新有望突破當前的瓶頸，為實時目標檢測領域提供新的發展方向。