現有的深偽檢測方法大多依賴于配對數據，即一張壓縮圖像和其對應的原始圖像來訓練模型，這在許多實際的開放環境中并不適用。尤其是在社交媒體等開放網絡環境（OSN）中，圖像通常經過多種壓縮處理，導致圖像質量受到影響，深偽識別也因此變得異常困難。

現有方法雖然在特定條件下取得了一些進展，但在面對開放世界中大量無配對數據的挑戰時，往往難以提供理想的檢測效果。

近日，AAAI 2025 接收結果公布，收錄了一篇北京交通大學趙耀、陶仁帥團隊聯合蘇黎世聯邦理工學院的研究工作，論文題目為《ODDN：Addressing Unpaired Data Challenges in Open-World Deepfake Detection on Online Social Networks》。

該工作提出了一個創新的深偽檢測任務——非配對數據下的開放世界深偽檢測。該任務針對真實社交媒體檢測場景下配對數據在實際獲取中數量較少的窘境。

論文地址：https://arxiv.org/pdf/2410.18687

此外，該工作還提出了針對新任務下的新方法，即使用多任務學習、梯度取反、梯度矯正等方式，提出 Backbone 提取特征中與壓縮相關的信息，令模型關注生成模型產生的偽造特征，為處理真實社交媒體下的壓縮 Deepfake 圖像提供了新的思考。

圖 1：任務總覽圖

方法概覽

新提出的方法 ODDN 包含兩個核心組件：開放世界數據聚合（ODA）和壓縮丟失梯度校正（CGC），有效降低了配對數據稀缺和壓縮影響帶來的性能損失。

圖 2：ODDN 模型結構圖

研究者設計了兩個下游任務：一個是基礎的二分類任務，該分支優化 backbone 提取偽造相關的特征；另一個是判別圖片是否被壓縮的二分類任務，該分支通過梯度取反操作，使得該分支梯度在 backbone 的優化方向與設定分類目標相反，backbone 提取與壓縮不相關的特征。

同時，將 Unpaired Data 以壓縮有無、真假將數據分為四類，然后計算四個簇的聚類中心。

之后再計算分別計算壓縮與未壓縮的真假簇聚類中心距離，對應公式如下。

對于 Paired Data 因為其稀少性，繼續采用之前工作使用的高效方法，即使用 HSIC 度量 Paired Data 數據分布的相似性。

雖然兩個下游任務設定的優化是合理的，但是實際訓練過程中，兩個任務中產生的 Loss 在回傳時，可能會出現優化方向的沖突。如何確定最合適的方向呢？研究者采用 PCGrad，將沖突的梯度投影到另一個梯度的法向量上，確保非沖突梯度之間的互補，對齊和促進不同梯度之間的交互，確保優化過程 backbone 的梯度始終處于對主線偽造檢測任務產生積極影響的方向。

網絡訓練的損失函數和總體模型結構圖可表示如下：

實驗設置

實驗使用 ForenSynths 的訓練集來訓練檢測器，包括 20 個不同的類別，每個類別都包含 18000 張使用 ProGAN 生成的合成圖像，以及來自 LSUN 數據集的相同數量的真實圖像。

為了進行評估，研究者還使用了 17 個常用數據集。其中，前 8 個數據集來自 ForenSynths，包括由 8 個不同的生成模型生成的圖像；其余 9 個數據集來自 GANGen-Detection，由另外 9 個不同生成模型生成的圖像組成。

圖 3：壓縮情況已知的實驗

圖 4：壓縮情況未知的實驗

圖 5：消融實驗

總結

該工作提出了開放世界深度偽造檢測網絡，旨在解決開放世界，尤其是在未配對數據普遍存在的在線社交網絡下的偽造檢測。該方法能夠有效處理與不同數據質量和壓縮方法相關的復雜性。

研究人員在各種測試設置下，以及在 17 個流行的數據集上進行的綜合實驗表明：所提方法能夠取得不錯的性能，并在實際應用中實現了穩健性和適應性。這項工作不僅推動了深度偽造檢測領域，而且為未來旨在打擊在線社交平臺上偽造信息的研究提供基準。

主要作者介紹

陶仁帥，北京交通大學副教授，工學博士，碩士生導師。入選 “北京交通大學青年英才培育計劃”、“中國圖象圖形學學會高等教育教學成果激勵計劃”，曾任華為諾亞方舟實驗室高級研究員。

李滿毅，北京交通大學在讀本科生，人工智能專業，師從陶仁帥副教授。已推免至中國科學院自動化研究所攻讀博士學位，師從李兵研究員和劉雨帆助理研究員。

趙耀，北京交通大學教授，博士生導師。教育部長江學者特聘教授、國家杰出青年科學基金獲得者、萬人計劃科技創新領軍人才、IEEE Fellow。