一引言

近幾年，人工智能技術呈現蓬勃發展之勢，成為引領新一輪科技革命和產業變革的戰略性技術，習總書記更是強調“加快發展新一代人工智能是事關我國能否抓住新一輪科技革命和產業變革機遇的戰略問題”。人工智能技術正在推動經濟社會各領域向智能化加速發展。但“每個硬幣都有正反面”，人工智能在為社會生活帶來智能便利的同時，也出現了泄露個人隱私、AI技術濫用、危害公共安全等問題，給社會治理帶來全新挑戰。

深度偽造技術（Deepfake）就是近幾年出現的一種利用人工智能等新興技術操縱音視頻、圖像或文本內容，意圖產生誤導效果的技術，其生成的偽造圖像和視頻可以模仿目標的面部表情、動作和語音的音調、色調等信息，生成足以“以假亂真”的圖像和視頻，肉眼難以辨識，顛覆了人們對“眼見為實”觀念的認知，引發公眾對人工智能安全的普遍擔憂，對個人、社會和國家的安全存在巨大的技術風險。

二、深度偽造技術

2017年，美國Reddit新聞網站上一位名為deepfakes的用戶上傳了經過技術篡改的色情視頻，將視頻中的演員人臉替換成一位電影明星的臉，由此“深度偽造（Deepfake）”技術引發人們關注。深度偽造目前仍然沒有公認統一的定義, 美國在其發布的2018 年《惡意偽造禁令法案》中將“Deepfake”定義為“以某種方式使合理的觀察者錯誤地將其視為個人真實言語或行為的真實記錄的方式創建或更改的視聽記錄”, 其中“視聽記錄”即指圖像、視頻和語音等數字內容。本文認為深度偽造技術是一種利用深度學習等新興技術創建或更改圖像、視頻、語音和文本等數字內容，意圖產生誤導效果的技術。

圖1 深度偽造視頻

01視頻圖像深度偽造生成技術

目前的視頻圖像深度偽造技術主要源于深度學習技術在計算機視覺方向的應用和發展。偽造生成主要使用深度神經網絡有自編碼器網絡AE（auto-encoder）和生成式對抗網絡GAN（Generative Adversarial Networks）兩大類。

初期視頻圖像的偽造主要依靠自編碼器網絡，自編碼器網絡由一個編碼器網絡和一個解碼器網絡組成，編碼器通過提取人臉特征將人臉圖像進行編碼壓縮，解碼器從壓縮的編碼表示中重構原始人臉。網絡在訓練階段，編碼器網絡學習捕捉人臉的關鍵特征，利用對應的解碼器網絡重構形成學習的人臉圖像。偽造生成人臉時，只需將任意人臉輸入統一的編碼器，再將編碼后的人臉通過目標人臉的解碼器解碼，所生成的人臉圖像就會具有目標人臉的特征同時保留輸入源人臉的表情、特征屬性。

圖2 自編碼偽造生成過程

自編碼器網絡為了提高偽造的逼真程度，需要刻意逼近真實樣本數據概率分布，造成網絡泛化性能不足，生成的逼真程度受限。為了解決這些問題，有研究人員提出使用GAN網絡提升偽造生成逼真程度的思路。GAN是一種采用博弈論思路的網絡結構，網絡由生成模型和判別模型兩部分組成，訓練學習的過程就是生成器和判別器相互博弈的過程，生成器通過給定輸入信息，隨機生成樣本數據，判別器則要判別生成的樣本數據是否屬于真實訓練樣本，兩者通過對抗式訓練提升其生成器的能力,最終達到生成器能夠生成足以“以假亂真”的數據樣本。

當前主流的視頻圖像深度偽造技術主要基于GAN網絡思路，衍生出多種基于GAN的變種網絡，比如去除了池化層的DCGAN網絡、引入EM（Earth-Mover）距離的Wasserstein GNA網絡、使用兩個不同領域圖像學習的CycleGAN網絡和引入進化策略優化網絡的E-GAN網絡、利用條件生產對抗網絡的paGAN、結合層疊式網絡的SCANs和大規模生成對抗網絡等，用于對人臉面部表情、特征進行更精細的操作和渲染，以生成更逼真的人臉圖像。

目前深度偽造視頻圖像主要表現在人臉部屬性的修改或生成，主要分為人臉重現、人臉替換、人臉屬性操作和人臉生成四個方面。人臉重現是指使用源身份人物的表情、面部動作、頭部及軀體動作驅動目標身份的相應動作，目標身份人臉不變，偽造或遷移特定表情、動作到目標人臉，以實現目標身份表情或動作的偽造。人臉替換就是換臉偽造，是指交換源身份人臉和目標身份人臉，以實現人身份修改的目的。人臉屬性操作是指添加、編輯或刪除目標身份人臉屬性，比如發型、膚色、年齡、種族等，以實現目標身份修改的目的。人臉生成是指使用模型完全創建一整個不存在的人臉圖像。

圖3 深度偽造生成的四種主要形態

02音頻深度偽造生成技術

音頻的偽造生成主要是指利用AI合成虛假語音，一般表現為從文本合成語音(text-to-speech synthesis)和語音轉換(voice conversion)兩種形式。

文本到語音合成技術主要是完成從指定文本生成對應的語音數據，主要的方法分為基于語音片段的語音合成方法和基于參數估計的語音合成方法。在基于語音片段的語音合成方法中，生成音頻主要通過對語音索引詞典中預先錄制的語音片段進行排序。基于參數估計的語音合成方法則通過將文本映射到語音的顯著參數，從而基于聲碼器來合成語音。

語音轉換是指轉換源目標的語音音色到目標對象語音音色的過程。隨著人工智能技術的發展，不同的學者借鑒圖像視頻生成的技術思路，引入自編碼器網絡、GAN網絡、自回歸模型等，輔助合成更加逼真的真人語音數據。Santiago等人引入GAN 網絡過濾語音的噪音，提升生成語音的質量。Vasquez等人基于頻譜圖和細粒度的自回歸模型設計了一種端到端的語音生成模型，能夠同時捕獲局部和全局結構，生成的語音內容不僅可以重現人類的語調, 而且可以像真人一樣說話。百度通過使用低維度可訓練的說話者編碼來增強文本到語音的轉換，擴展Deep voice，提出Deepvoice2，使得單個模型能生成不同的聲音。Ping等人提出基于注意力機制的全卷積TTS模型，擴展生成Deep voice3，能夠實現在不降低合成性能的情況下完全并行計算。

三、深度偽造檢測技術

01深度偽造視頻圖像檢測技術

隨著深度生成對抗網絡等技術在圖像視頻偽造領域的應用，視頻圖像篡改和合成的能力門檻變得越來越低，特別是人臉生成、人臉屬性修改、人臉替換、表情操縱等多種深度偽造工具的應用，使得對偽造視頻圖像的檢測和識別變得越來越困難，僅僅依靠傳統視頻圖像真實性檢測和鑒定方法難以支撐多樣化的偽造手段。

目前深度偽造視頻圖像的檢測方法研究者主要提出了基于視頻圖像本身成像特征分析的方法和基于數據驅動的深度學習分析方法兩類。

基于視頻圖像本身成像特征的檢測方法主要包括通過分析視頻圖像中的光照不連續性、陰影不連續性或幾何位置不一致等圖像的物理特征來辨別圖像的真實性。還有提出通過分析視頻圖像成像設備傳感器噪聲差異性特征、色差差異性特征來判別圖像真實性的方法，還有提出通過分析查找視頻圖像的壓縮痕跡（DCT系數、塊狀效應等）特征或圖像重采樣特征以發現視頻圖像偽造的痕跡，還有研究者提出利用人的生理信號特征如眨眼頻率、脈搏、心率等的不協調性和不一致性檢測判別視頻圖像的真偽?；谶@類特征的檢測方法大多只能檢測特定偽造類型“痕跡”，肉眼容易識別的篡改，檢測結果的可解釋性比較好。

隨著深度學習技術的發展，研究人員也提出基于數據驅動的深度學習檢測方法。有研究者提出利用對比損失函數，在大量的虛假與真實圖像數據上進行訓練，從而學習到有效區分真假圖像特征表示，達到分析識別真假圖像的目的。也有通過分析和提取真偽圖像自身差異化特征，進而訓練分類器實現深度偽造圖像的檢測，還有應用各種卷積神經網絡、循環神經網絡和膠囊網絡等深度神經網絡結構的視頻圖像真偽檢測方法。

由于深度偽造技術主要基于生成對抗網絡，所以，研究者也廣泛關注生成對抗網絡產生的圖像在色彩分布上是否有別于自然圖像，提出基于各種顏色特征進行檢測識別的方法，也有提出尋求不同GAN網絡在生成視頻圖像時留下的網絡指紋特征作為分類識別的依據，用于識別和溯源不同的偽造方法。此類基于GAN指紋特征的方法會依賴GAN的結構，隨著GAN技術迅速發展，基于GAN指紋的方法所提取的GAN指紋特征并不具有持久性和通用性，方法的泛化能力不足。

圖4 深度偽造圖像檢測一般過程

針對深度偽造視頻，目前的檢測方法仍聚焦于“換臉”技術檢測。由于視頻在被壓縮后，幀數據會產生嚴重的退化現象且視頻幀組之間的時序特征存在一定的變化，故多數基于靜態特征的深度偽造圖像檢測方法無法直接用于深度偽造視頻的檢測。由于深度偽造模型經常使用靜態的面部圖像集進行訓練，生成模型對人臉先驗知識建模不足，難以實現對眨眼、呼吸和心跳等生理信息的準確偽造。因此，很多研究者提出各種基于生理信息的合理性來構建深度偽造視頻檢測的方法，比如利用不自然的眨眼動作、不一致的面部和頭部的朝向、面部區域的視覺偽影等特征實現視頻真偽檢測。還有研究者關注到偽造生成的視頻在時空域上很難做到人臉、皮膚在不同光照和相機視角下的完美融合，提出基于視頻幀間不一致性、光響應非均勻性(PRNU)模式差異 、幀間光流的不連續性、面部和周邊區域的分辨率不一致等偽造特征痕跡的檢測方法。

圖5 深度偽造視頻檢測一般過程

02深度偽造音頻檢測技術

隨著人工智能技術的應用，音頻合成和轉換能力不斷提升，生成的音頻越發逼真，單憑人的聽覺判斷已經難以主觀分辨，因此，研究針對惡意使用的音頻深度偽造檢測識別方法變得就愈發重要。目前，深度偽造音頻的檢測識別主要通過基于音頻信號分析的方法和基于語速、聲紋和頻譜分布等生物信息特征的深度學習方法兩類。

音頻真偽的檢測識別研究起初主要基于音頻信號處理的思路，研究者有提出對頻譜特征建模，使用常量Q倒譜系數(constant-Q cepstral coefficients) 、歸一化余弦相位和修正的群延遲等方法進行檢測識別，這類方法對采用特定音頻處理技術的音頻識別效果較好，但方法的泛化性能不佳。

隨著深度學習技術的發展，基于數據驅動的深度學習檢測方法逐漸被研究者所關注。Gomez-Alanis等人通過融合輕量級卷積神經網絡和循環神經網絡, 提出一種由光卷積門控遞歸神經網絡提取偽造音頻深度特征的檢測方法。Li 等人提出融合梅爾頻率倒譜系數(Mel frequency cepstrum coefficient)、常量Q倒譜系數(Constant Q cepstral coefficient)和FBank 等多種聲學特征的多任務學習檢測思路。Monteiro等人提出將聲音表征為視覺的頻譜圖，利用時間卷積網絡對頻譜圖的清晰度進行識別分析以判斷音頻是否偽造。

偽造語音的檢測從傳統信號處理方法發展到深度學習方法，在應對語音欺騙領域取得了一定的成果，但是現有方法還是依賴特定攻擊類型，對未知類型攻擊檢測的泛化性提升還有很大的空間。

總之，隨著人工智能的技術發展與應用深入，深度偽造檢測技術在保護個人隱私、維護公共安全、促進司法公正等方面越來越顯示其重要性，應當引起社會各界的充分重視。