研究人員表明，通過在每個(gè)視頻幀中插入被稱為對抗性樣本（adversarial examples ）的輸入，探測器就可以被擊敗。對抗性的例子是稍微被操縱的輸入，會(huì)導(dǎo)致人工智能系統(tǒng)，如機(jī)器學(xué)習(xí)模型犯錯(cuò)誤。此外，研究小組還發(fā)現(xiàn)，在視頻被壓縮后，這種攻擊仍然有效。

來自UC San Diego 的計(jì)算機(jī)工程專業(yè)博士生 Shehzeen Hussain 說:

我們的研究表明，對deepfake探測器的攻擊可能是對真實(shí)世界的威脅，更令人震驚的是，我們證明，即使不知道探測器使用的機(jī)器學(xué)習(xí)模型的內(nèi)部工作原理，也有可能制造出非常robust的對抗樣本。

在deepfake中，主體的臉部被修改，以創(chuàng)造令人信服的真實(shí)事件當(dāng)中的鏡頭，而這些事件從未真正發(fā)生過。

因此，典型的deepfakes探測器會(huì)將焦點(diǎn)集中在視頻中的人臉上: 首先跟蹤它，然后將裁剪后的人臉數(shù)據(jù)傳遞給神經(jīng)網(wǎng)絡(luò)，由神經(jīng)網(wǎng)絡(luò)來判斷這些人臉是真是假。

例如，眨眼在deepfakes中不能很好地復(fù)制，所以探測器將注意力集中在眼睛的運(yùn)動(dòng)上，以此作為確定假的一種方法。最先進(jìn)的“deepfakes探測器”依靠機(jī)器學(xué)習(xí)模型來識別假視頻。

研究人員指出，虛假視頻在社交媒體平臺上的廣泛傳播引起了全世界的重大關(guān)切，尤其是影響了媒體的可信度。

“如果攻擊者對探測系統(tǒng)有一定的了解，他們就可以設(shè)計(jì)輸入信號，瞄準(zhǔn)探測器的盲點(diǎn)，并繞過它,”論文的另一位合著者、來自加州大學(xué)圣地亞哥分校計(jì)算機(jī)科學(xué)專業(yè)的學(xué)生帕爾斯 · 尼卡拉(Paarth Neekhara)說。

研究人員為視頻畫面中的每一張臉創(chuàng)建了一個(gè)對抗性的樣本。但是，雖然標(biāo)準(zhǔn)的操作，例如視頻壓縮和調(diào)整大小，通常會(huì)從圖像中去除對抗性的樣本，這些例子是建立來承受這些過程的。

攻擊算法通過估計(jì)一組輸入轉(zhuǎn)換來實(shí)現(xiàn)這一點(diǎn)，模型將圖像排序?yàn)檎婊蚣佟哪抢铮褂眠@種估計(jì)轉(zhuǎn)換圖像的方式，使得即使在壓縮和解壓縮后，對抗性的圖像仍然有效。

XceptionNet，一個(gè)deepfake探測器，將研究人員制作的對抗性視頻標(biāo)記為真。

將修改后版本的面部插入到所有的視頻幀，然后對視頻中的所有幀重復(fù)這個(gè)過程，以創(chuàng)建一個(gè)deepfake的視頻。這種攻擊還可以應(yīng)用于對整個(gè)視頻幀進(jìn)行操作的探測器，而不僅僅是對面部。

成功率高

研究人員在兩個(gè)場景中測試了他們的攻擊: 一個(gè)場景中攻擊者可以完全訪問檢測器模型，包括人臉提取pipeline和分類模型的結(jié)構(gòu)和參數(shù); 另一個(gè)場景中攻擊者只能查詢機(jī)器學(xué)習(xí)模型來計(jì)算被分類為真或假的幀的概率。

在第一種情況下，對未壓縮視頻的攻擊成功率超過99% 。對于壓縮視頻，這個(gè)比例是84.96% 。在第二種情況下，對未壓縮視頻攻擊的成功率為86.43% ，壓縮視頻的成功率為78.33% 。

這是第一個(gè)展示了成功攻擊最先進(jìn)的deepfake探測器的工作。

“為了在實(shí)踐中使用這些deepfake探測器，我們認(rèn)為，有必要對這些探測器進(jìn)行評估，以對抗一個(gè)了解這些防御的適應(yīng)性對手，這個(gè)對手正在有意地試圖挫敗這些防御”，研究人員表示，“如果敵方對探測器有完全甚至部分的了解，目前最先進(jìn)的deepfake探測方法可以很容易地被繞過。”

為了改進(jìn)探測器，研究人員還推薦了一種類似于對抗性訓(xùn)練的方法: 在訓(xùn)練期間，一個(gè)適應(yīng)性的對手繼續(xù)生成新的deepfake結(jié)果，這些假的結(jié)果可以繞過當(dāng)前最先進(jìn)的探測器; 為了檢測新的deepfake結(jié)果，探測器繼續(xù)改進(jìn)。