本文作者包括香港大學(xué)的王天一、Kam Pui Chow，湖南大學(xué)的廖鑫 (共同通訊)，圭爾夫大學(xué)的林曉東和齊魯工業(yè)大學(xué) (山東省科學(xué)院) 的王英龍 (第一通訊)。

基于深度神經(jīng)網(wǎng)絡(luò)對(duì)人臉圖像進(jìn)行編輯和篡改，深度偽造的發(fā)展為人們的生活帶來(lái)了便利，但對(duì)其錯(cuò)誤的應(yīng)用也同時(shí)危害著人們的隱私和信息安全。

近年來(lái)，針對(duì)深度偽造對(duì)人們隱私安全造成的危害，雖然領(lǐng)域內(nèi)的研究者們提出了基于不同角度和不同算法的檢測(cè)手段，但是在實(shí)際的深度偽造相關(guān)案例中，鮮有檢測(cè)模型被成功應(yīng)用于司法判決，并真正做到保障人們的隱私安全。

近日，一篇基于可靠性視角的深度偽造檢測(cè)綜述收錄在 ACM Computing Surveys (IF=23.8)。文章作者分析，在當(dāng)前深度偽造領(lǐng)域內(nèi)的研究中，尚缺乏一條完整的橋梁，可以將成熟的深度偽造檢測(cè)模型與其在實(shí)際案例中的潛在應(yīng)用聯(lián)系起來(lái)。

• 論文標(biāo)題：Deepfake Detection: A Comprehensive Survey from the Reliability Perspective
• arXiv 地址: https://arxiv.org/abs/2211.10881

本綜述由香港大學(xué)、齊魯工業(yè)大學(xué)、湖南大學(xué)、圭爾夫大學(xué)聯(lián)合發(fā)布，從可靠性的角度全面回顧了當(dāng)前領(lǐng)域內(nèi)的常用深度偽造基準(zhǔn)數(shù)據(jù)庫(kù) (表 1) 和代表性檢測(cè)模型，并基于現(xiàn)有檢測(cè)模型的類型和優(yōu)缺點(diǎn)，提出了三個(gè)值得領(lǐng)域內(nèi)研究者們持續(xù)探索的話題和挑戰(zhàn) (圖 1)：遷移性、可解釋性和魯棒性。

表 1: 依據(jù)質(zhì)量、多樣性、難度等特點(diǎn)而劃分的三代深度偽造基準(zhǔn)數(shù)據(jù)庫(kù)信息。

三大話題和挑戰(zhàn)

遷移性話題關(guān)注已完成訓(xùn)練的深度偽造檢測(cè)模型是否能夠在未曾見過(guò)的數(shù)據(jù)和篡改算法上依然維持令人滿意的檢測(cè)準(zhǔn)確率。

詳細(xì)來(lái)說(shuō)，當(dāng)一個(gè)深度偽造檢測(cè)器在被廣泛使用的 FaceForensics++ 數(shù)據(jù)集上完成訓(xùn)練后，除了在 FaceForensics++ 的測(cè)試集上展現(xiàn)出色的檢測(cè)準(zhǔn)確率，仍需要能夠在 cross-dataset 和 cross-manipulation 設(shè)定下，維持較為穩(wěn)定的效果。此目標(biāo)旨在避免針對(duì)持續(xù)迭代出現(xiàn)的新的偽造數(shù)據(jù)和偽造算法時(shí)無(wú)休止地增加模型訓(xùn)練成本。

可解釋性話題側(cè)重于檢測(cè)模型在判斷真?zhèn)蔚耐瑫r(shí)能否額外提供令人信服的證據(jù)和通俗易懂的解釋。

詳細(xì)來(lái)說(shuō)，當(dāng)一個(gè)深度偽造檢測(cè)器判斷一張圖片的真?zhèn)螘r(shí)，通常只能提供對(duì)其真或假的判斷結(jié)論，以及在各個(gè)實(shí)驗(yàn)數(shù)據(jù)集上測(cè)試時(shí)的檢測(cè)準(zhǔn)確率。然而，對(duì)于需要依賴于檢測(cè)模型來(lái)保護(hù)個(gè)人隱私信息的非專業(yè)人士，能夠提供除準(zhǔn)確率指標(biāo)之外通俗易懂的額外證據(jù) (例如，被標(biāo)記的偽造區(qū)域定位或被可視化的偽造痕跡和噪聲) 是極其重要的。

魯棒性話題則基于已有的客觀模型檢測(cè)效果，著眼于實(shí)際生活場(chǎng)景，關(guān)注深度偽造素材在傳播中遭受主觀和客觀畫質(zhì)損失后，是否依然可以被檢測(cè)器正確判斷。

詳細(xì)來(lái)說(shuō)，深度偽造素材的危害隨著其在網(wǎng)絡(luò)中的持續(xù)性傳播而不斷增加，而在上傳、下載、轉(zhuǎn)載等傳播過(guò)程中，受不同平臺(tái)對(duì)素材屬性的限制和協(xié)議要求，該素材將不可避免地遭受質(zhì)量上的折損和降低。另一方面，當(dāng)攻擊者 (即深度偽造素材的制造者) 已知領(lǐng)域內(nèi)已有針對(duì)各類深度偽造算法的檢測(cè)手段時(shí)，其會(huì)刻意向偽造的素材內(nèi)有針對(duì)性地添加能夠一定程度上擾亂深度偽造檢測(cè)器的噪聲。以上兩類情況，都需要依賴于深度偽造檢測(cè)模型的魯棒性，從而可以持續(xù)地在實(shí)際生活案例中發(fā)揮作用。

圖 1 : 關(guān)于三種話題和挑戰(zhàn)的闡述

評(píng)估與實(shí)驗(yàn)

除了深入探討三個(gè)話題和挑戰(zhàn)的意義以及綜述性地總結(jié)領(lǐng)域內(nèi)的相關(guān)工作之外，本文還著重提出了一個(gè)針對(duì)模型可靠性的評(píng)估方法 (圖 2)。

該方法受到司法鑒定中對(duì) DNA 比對(duì)過(guò)程的啟發(fā)，通過(guò)模擬和構(gòu)建真實(shí)世界中的深度偽造數(shù)據(jù)的總 population，引入統(tǒng)計(jì)學(xué)中隨機(jī)采樣的方法，科學(xué)且嚴(yán)謹(jǐn)?shù)卦u(píng)估深度偽造檢測(cè)模型的可靠性，從而提供關(guān)于模型性能的統(tǒng)計(jì)學(xué)指標(biāo)，以作為法庭審判的潛在證據(jù)和輔助證據(jù)。基于該指標(biāo)，可得出在不同置信度條件下的模型檢測(cè)準(zhǔn)確率結(jié)論。該可靠性評(píng)估方法的初步探索，旨在提供一條路線可以使眾多深度偽造檢測(cè)模型能夠在實(shí)際生活案例中真正發(fā)揮價(jià)值。

同時(shí)，該綜述通過(guò)進(jìn)行大量實(shí)驗(yàn)，在不同的樣本集大小、置信度、采樣次數(shù)等環(huán)境設(shè)定下，對(duì)為解決三種話題和挑戰(zhàn)的七個(gè)深度偽造檢測(cè)模型進(jìn)行模型復(fù)現(xiàn)和可靠性分析。

圖 2: 深度偽造檢測(cè)模型可靠性分析算法。

此外，該綜述將實(shí)驗(yàn)中的深度偽造檢測(cè)模型應(yīng)用在受害者分別為明星、政客、普通人的實(shí)際深度偽造案例中的假視頻進(jìn)行鑒偽和分析，并針對(duì)檢測(cè)結(jié)果提供基于特定置信度條件下的模型檢測(cè)準(zhǔn)確率結(jié)論 (圖 3)。

實(shí)驗(yàn)結(jié)果表明，當(dāng)前領(lǐng)域內(nèi)的現(xiàn)存深度偽造檢測(cè)模型分別在遷移性、可解釋性、魯棒性話題方面各有建樹，但當(dāng)令其兼顧兩個(gè)或三個(gè)話題和挑戰(zhàn)時(shí)，在模型效果上則展現(xiàn)出了顯著的權(quán)衡和取舍。

然而，通常來(lái)說(shuō)，人們希望，一個(gè)可靠的深度偽造檢測(cè)模型應(yīng)同時(shí)具備良好的遷移性、通俗易懂的可解釋性、穩(wěn)定的魯棒性，以便能夠在實(shí)際生活中的深度偽造案例中保護(hù)和保障受害者的隱私安全。

因此，本綜述論文所總結(jié)的理念、發(fā)現(xiàn)、結(jié)論也為深度偽造檢測(cè)領(lǐng)域的研究者們提供了新的研究挑戰(zhàn)與研究方向。

圖 3: 深度偽造檢測(cè)模型在四個(gè)實(shí)際案例中的視頻上的檢測(cè)結(jié)果以及其對(duì)應(yīng)的 95% 置信度可靠性結(jié)論。

第一作者信息

王天一，本科畢業(yè)于美國(guó)華盛頓大學(xué)西雅圖分校，修習(xí)計(jì)算機(jī)科學(xué)和應(yīng)用數(shù)學(xué)雙專業(yè)；博士畢業(yè)于香港大學(xué)，研究方向?yàn)槎嗝襟w取證；現(xiàn)為南洋理工大學(xué)在職博士后研究員。

引用信息

Tianyi Wang, Xin Liao, Kam Pui Chow, Xiaodong Lin, and Yinglong Wang. 2024. Deepfake Detection: A Comprehensive Survey from the Reliability Perspective. ACM Comput. Surv. 57, 3, Article 58 (March 2025), 35 pages. https://doi.org/10.1145/3699710。