優化語義分割模型常用的損失有Soft Jaccard損失，Soft Dice損失和Soft Tversky損失，但它們都和軟標簽不兼容，所以無法支持一些重要的訓練技術（例如標簽平滑，知識蒸餾，半監督學習，多標注員等）。

另一方面，語義分割常用的評價指標有mAcc和mIoU，但是因為它們都會偏向數據集中尺寸較大的物體，所以會嚴重的影響它們對模型安全性能的評估。

為了解決這些問題，魯汶大學和清華的研究人員首先提出了JDT損失。JDT損失是原有損失函數的變體，包括了Jaccard Metric損失，Dice Semimetric損失和Compatible Tversky損失。JDT損失在硬標簽下與原有的損失函數等價，但能完全兼容軟標簽。

研究人員將JDT損失應用于軟標簽的四個重要場景：標簽平滑、知識蒸餾、半監督學習和多標注員，展示了它們提高模型準確性和校準性的能力。

圖片

論文鏈接：https://arxiv.org/pdf/2302.05666.pdf

圖片

論文鏈接：https://arxiv.org/pdf/2303.16296.pdf

除此之外，研究人員還提出了細粒度的評價指標。這些細粒度的評價指標對大尺寸物體的偏見較小，能提供更豐富的統計信息，并能為模型和數據集審計提供有價值的見解。

并且，研究人員進行了一項廣泛的基準研究，強調了不應基于單個指標進行評估的必要性，并發現了神經網絡結構和JDT損失對優化細粒度指標的重要作用。

圖片

論文鏈接：https://arxiv.org/pdf/2310.19252.pdf

代碼鏈接：https://github.com/zifuwanggg/JDTLosses

現有的損失函數

由于Jaccard Index和Dice Score是定義在集合上的，所以并不可導。為了使它們可導，目前常見的做法有兩種：一種是利用集合和相應向量的Lp模之間的關系，例如Soft Jaccard損失（SJL），Soft Dice損失（SDL）和Soft Tversky損失（STL）。

它們把集合的大小寫成相應向量的L1模，把兩個集合的交集寫成兩個相應向量的內積。另一種則是利用Jaccard Index的submodular性質，在集合函數上做Lovasz拓展，例如Lovasz-Softmax損失（LSL）。

圖片

這些損失函數都假定神經網絡的輸出x是一個連續的向量，而標簽y則是一個離散的二值向量。如果標簽為軟標簽，即y不再是一個離散的二值向量，而是一個連續向量時，這些損失函數就不再兼容。

以SJL為例，考慮一個簡單的單像素情況：

圖片

可以發現，對于任意的y > 0，SJL都將在x = 1時最小化，而在x = 0時最大化。因為一個損失函數應該在x = y時最小化，所以這顯然是不合理的。

與軟標簽兼容的損失函數

為了使原有的損失函數與軟標簽兼容，需要在計算兩個集合的交集和并集時，引入兩個集合的對稱差：

圖片

注意兩個集合的對稱差可以寫成兩個相應向量的差的L1模：

圖片

把以上綜合起來，我們提出了JDT損失。它們分別是SJL的變體Jaccard Metric損失（JML），SDL的變體Dice Semimetric 損失（DML）以及STL的變體Compatible Tversky損失（CTL）。

圖片

JDT損失的性質

我們證明了JDT損失有著以下的一些性質。

性質1：JML是一個metric，DML是一個semimetric。

性質2：當y為硬標簽時，JML與SJL等價，DML與SDL等價，CTL與STL等價。

性質3：當y為軟標簽時，JML，DML，CTL都與軟標簽兼容，即x = y ó f(x，y) = 0。

由于性質1，它們也因此被稱為Jaccard Metric損失和Dice Semimetric損失。性質2說明在僅用硬標簽進行訓練的一般場景下，JDT損失可以直接用來替代現有的損失函數，而不會引起任何的改變。

如何使用JDT損失

我們進行了大量的實驗，總結出了使用JDT損失的一些注意事項。

注意1：根據評價指標選擇相應的損失函數。如果評價指標是Jaccard Index，那么應該選擇JML；如果評價指標是Dice Score，那么應該選擇DML；如果想給予假陽性和假陰性不同的權重，那么應該選擇CTL。其次，在優化細粒度的評價指標時，JDT損失也應做相應的更改。

注意2：結合JDT損失和像素級的損失函數（例如Cross Entropy損失，Focal損失）。本文發現0.25CE + 0.75JDT一般是一個不錯的選擇。

注意3：最好采用一個較短的epoch來訓練。加上JDT損失后，一般只需要Cross Entropy損失訓練時一半的epoch。                                      

注意4：在多個GPU上進行分布式訓練時，如果GPU之間沒有額外的通信，JDT損失會錯誤的優化細粒度的評價指標，從而導致其在傳統的mIoU上效果變差。

注意5：在極端的類別不平衡的數據集上進行訓練時，需注意JDL損失是在每個類別上分別求損失再取平均，這可能會使訓練變得不穩定。

實驗結果

實驗證明，與Cross Entropy損失的基準相比，在用硬標簽訓練時，加上JDT損失可以有效提高模型的準確性。引入軟標簽后，可以進一步提高模型的準確性和校準性。

圖片

只需在訓練時加入JDT損失項，本文取得了語義分割上的知識蒸餾，半監督學習和多標注員的SOTA。

圖片

圖片

圖片

現有的評價指標

語義分割是一個像素級別的分類任務，因此可以計算每個像素的準確率：overall pixel-wise accuracy（Acc）。但因為Acc會偏向于多數類，所以PASCAL VOC 2007采用了分別計算每個類別的像素準確率再取平均的評價指標：mean pixel-wise accuracy（mAcc）。

但由于mAcc不會考慮假陽性，從PASCAL VOC 2008之后，就一直采用平均交并比（per-dataset mIoU, mIoUD）來作為評價指標。PASCAL VOC是最早的引入了語義分割任務的數據集，它使用的評價指標也因此被之后的各個數據集所廣泛采用。

具體來說，IoU可以寫成：

圖片

為了計算mIoUD，我們首先需要對每一個類別c統計其在整個數據集上所有I張照片的true positive（真陽性，TP），false positive（假陽性，FP）和false negative（假陰性，FN）：

圖片

有了每個類別的數值之后，我們按類別取平均，從而消除對多數類的偏好：

圖片

因為mIoUD把整個數據集上所有像素的TP，FP和FN合計在一起，它會不可避免的偏向于那些大尺寸的物體。

在一些對安全要求較高的應用場景中，例如自動駕駛和醫療圖像，經常會存在一些尺寸小但是不可忽略的物體。

如下圖所示，不同照片上的汽車的大小有著明顯的不同。因此，mIoUD對大尺寸物體的偏好會嚴重的影響其對模型安全性能的評估。

細粒度的評價指標

為了解決mIoUD的問題，我們提出細粒度的評價指標。這些指標在每張照片上分別計算IoU，從而能有效的降低對大尺寸物體的偏好。

mIoUI

對每一個類別c，我們在每一張照片i上分別計算一個IoU：

圖片

接著，對每一張照片i，我們把這張照片上出現過的所有類別進行平均：

圖片

最后，我們把所有照片的數值再進行平均：

圖片

mIoUC

類似的，在計算出每個類別c在每一張照片i上的IoU之后，我們可以把每一個類別c出現過的所有照片進行平均：

最后，把所有類別的數值再進行平均：

由于不是所有的類別都會出現在所有的照片上，所以對于一些類別和照片的組合，會出現NULL值，如下圖所示。計算mIoUI時先對類別取平均再對照片取平均，而計算mIoUC時先對照片取平均再對類別取平均。

這樣的結果是mIoUI可能會偏向那些出現得很頻繁的類別（例如下圖的C1），而這一般是不好的。但另一方面，在計算mIoUI時，因為每張照片都有一個IoU數值，這能幫助我們對模型和數據集進行一些審計和分析。

圖片

最差情況的評價指標

對于一些很注重安全的應用場景，我們很多時候更關心的是最差情況的分割質量，而細粒度指標的一個好處就是能計算相應的最差情況指標。我們以mIoUC為例，類似的方法也可以計算mIoUI相應的最差情況指標。

對于每一個類別c，我們首先把其出現過的所有照片（假設有Ic個這樣的照片）的IoU數值進行升序排序。接著，我們設q為一個很小的數字，例如1或者5。然后，我們僅用排序好的前Ic * q%張照片來計算最后的數值：

圖片

有了每個類c的數值之后，我們可以像之前那樣按類別取平均，從而得到mIoUC的最差情況指標。

實驗結果

我們在12個數據集上訓練了15個模型，發現了如下的一些現象。

現象1：沒有一個模型在所有的評價指標上都能取得最好的效果。每個評價指標都有著不同的側重點，因此我們需要同時考慮多個評價指標來進行綜合的評估。

現象2：一些數據集上存在部分照片使得幾乎所有的模型都取得一個很低的IoU數值。這一方面是因為這些照片本身就很有挑戰性，例如一些很小的物體和強烈的明暗對比，另一方面也是因為這些照片的標簽存在問題。因此，細粒度的評價指標能幫助我們進行模型審計（發現模型會犯錯的場景）和數據集審計（發現錯誤的標簽）。

現象3：神經網絡的結構對優化細粒度的評價指標有著至關重要的作用。一方面，由ASPP（被DeepLabV3和DeepLabV3+采用）等結構所帶來的感受野的提升能幫助模型識別出大尺寸的物體，從而能有效提高mIoUD的數值；另一方面，encoder和decoder之間的長連接（被UNet和DeepLabV3+采用）能使模型識別出小尺寸的物體，從而提高細粒度評價指標的數值。

現象4：最差情況指標的數值遠遠低于相應的平均指標的數值。下表展示了DeepLabV3-ResNet101在多個數據集上的mIoUC和相應的最差情況指標的數值。一個值得以后考慮的問題是，我們應該如何設計神經網絡結構和優化方法來提高模型在最差情況指標下的表現？

圖片

現象5：損失函數對優化細粒度的評價指標有著至關重要的作用。與Cross Entropy損失的基準相比，如下表的（0，0，0）所示，當評價指標變得細粒度，使用相應的損失函數能極大的提升模型在細粒度評價指標上的性能。例如，在ADE20K上，JML和Cross Entropy損失的mIoUC的差別會大于7%。

圖片

未來工作

我們只考慮了JDT損失作為語義分割上的損失函數，但它們也可以應用在其他的任務上，例如傳統的分類任務。

其次，JDT損失只被用在標簽空間中，但我們認為它們能被用于最小化任意兩個向量在特征空間上的距離，例如用來替代Lp模和cosine距離。

參考資料：

https://arxiv.org/pdf/2302.05666.pdf

https://arxiv.org/pdf/2303.16296.pdf

https://arxiv.org/pdf/2310.19252.pdf