微軟曠視人臉識別100%失靈!照片「隱身衣」,幫你保護(hù)照片隱私數(shù)據(jù)
本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。
左圖，右圖，你能看出區(qū)別嗎？
其實(shí)，算法已經(jīng)悄悄給右邊的照片加上了微小的修改。
但就是這樣肉眼根本看不出來的擾動，就能100%騙過來自微軟、亞馬遜、曠視——全球最先進(jìn)的人臉識別模型！
所以意義何在？
這代表著你再也不用擔(dān)心po在網(wǎng)上的照片被某些軟件扒得干干凈凈，打包、分類，幾毛錢一整份賣掉喂AI了。
這就是來自芝加哥大學(xué)的最新研究：給照片加上一點(diǎn)肉眼看不出來的修改，就能讓你的臉成功「隱形」。
如此一來，即使你在網(wǎng)絡(luò)上的照片被非法抓取，用這些數(shù)據(jù)訓(xùn)練出來的人臉模型，也無法真正成功識別你的臉。
給照片穿上「隱身衣」
這項(xiàng)研究的目的，是幫助網(wǎng)友們在分享自己的照片的同時，還能有效保護(hù)自己的隱私。
因此，「隱身衣」本身也得「隱形」，避免對照片的視覺效果產(chǎn)生影響。
也就是說，這件「隱身衣」，其實(shí)是對照片進(jìn)行像素級別的微小修改，以蒙蔽AI的審視。
其實(shí)，對于深度神經(jīng)網(wǎng)絡(luò)而言，一些帶有特定標(biāo)簽的微小擾動，就能夠改變模型的「認(rèn)知」。
比如，在圖像里加上一點(diǎn)噪聲，熊貓就變成了長臂猿：
Fawkes就是利用了這樣的特性。
用 x 指代原始圖片，xT為另一種類型/其他人臉照片，φ 則為人臉識別模型的特征提取器。
具體而言，F(xiàn)awkes是這樣設(shè)計(jì)的：
第一步：選擇目標(biāo)類型 T
指定用戶 U，F(xiàn)awkes的輸入為用戶 U 的照片集合，記為 XU。
從一個包含有許多特定分類標(biāo)簽的公開人臉數(shù)據(jù)集中，隨機(jī)選取 K 個候選目標(biāo)類型機(jī)器圖像。
使用特征提取器 φ 計(jì)算每個類 k=1…K 的特征空間的中心點(diǎn)，記為 Ck。
而后，F(xiàn)awkes會在 K 個候選集合中，選取特征表示中心點(diǎn)與 XU 中所有圖像的特征表示差異最大的類，作為目標(biāo)類型 T。
第二步：計(jì)算每張圖像的「隱身衣」
隨機(jī)選取一幅 T 中的圖像，為 x 計(jì)算出「隱身衣」δ(x, xT) ，并按照公式進(jìn)行優(yōu)化。
其中 |δ(x, xT)| < ρ。
研究人員采用DDSIM（Structural Dis-Similarity Index）方法。在此基礎(chǔ)上進(jìn)行隱身衣的生成，能保證隱身后的圖像與原圖在視覺效果上高度一致。
實(shí)驗(yàn)結(jié)果表明，無論人臉識別模型被訓(xùn)練得多么刁鉆，F(xiàn)awkes都能提供95％以上有效防護(hù)率，保證用戶的臉不被識別。
即使有一些不小心泄露的未遮擋照片被加入人臉識別模型的訓(xùn)練集，通過進(jìn)一步的擴(kuò)展設(shè)計(jì)，F(xiàn)awkes也可以提供80%以上的防識別成功率。
在Microsoft Azure Face API、Amazon Rekognition和曠視Face Search API這幾個最先進(jìn)的人臉識別服務(wù)面前，F(xiàn)awkes的「隱身」效果則達(dá)到了100%。
目前，F(xiàn)awkes已開源，Mac、Windows和Linux都可以使用。
安裝簡易方便
這里以Mac系統(tǒng)為例，簡單介紹一下軟件的使用方法。使用的筆記本是MacBook Air，1.1GHz雙核Intel Core i3的處理器。
首先，我們從GitHub上下載壓縮安裝包，并進(jìn)行解壓。
接下來，把想要修改的所有照片放入一個文件夾里，并記住路徑。
以桌面上的一個名為test_person的圖片文件夾為例，里面我們放了三張照片，其中一張圖片包含兩個人。
這里的圖片路徑是~/Desktop/test_person，根據(jù)你的圖片保存位置來確定。
接下來，打開啟動臺中的終端，進(jìn)入壓縮包所在的文件夾。
注意，如果MacOS是Catalina的話，需要先修改一下權(quán)限，以管理員身份運(yùn)行，sudo spctl —master-disable就可以了。
這里我們的壓縮包直接放在下載的文件夾里，直接cd downloads就行。
進(jìn)入下載文件夾后，輸入./protection -d 文件路徑（文件路徑是圖片文件夾所在的位置，這里輸入~/Desktop/test_person），運(yùn)行生成圖片的「隱身衣」。
嗯？不錯，看起來竟然能識別一張圖中的2個人臉。
緩慢地運(yùn)行……
據(jù)作者介紹說，生成一張「隱身衣」的速度平均在40秒左右，速度還是比較快的。
如果電腦配置夠好，應(yīng)該還能再快點(diǎn)。
不過，雙核的就不奢求了…我們耐心地等一下。
從時間看來，處理速度還算可以接受。
Done！
圖中來看，生成3張圖片的「隱身衣」，電腦用了大約7分鐘（一定是我的電腦太慢了）。
來看看生成的結(jié)果。
可以看見，文件夾中的3張圖片，都生成了帶有_low_cloaked的后綴名的圖片。
雖然介紹里說，生成的后綴是_mid_cloaked的圖片，不過軟件提供的模式有「low」、「mid」、「high」、「ultra」、「custom」幾種，所以不同的模式會有不同的后綴名。
以川普為例，來看看實(shí)際效果。
兩張圖片幾乎沒有差別，并沒有變丑，川普臉上的皺褶看起來還光滑了一點(diǎn)。
這樣，我們就能放心地將經(jīng)過處理后的人臉照片放到網(wǎng)上了。
即使被某些不懷好意的有心之人拿去使用，被盜用的數(shù)據(jù)也并不是我們的人臉數(shù)據(jù)，不用再擔(dān)心隱私被泄露的問題。
不僅如此，這個軟件還能「補(bǔ)救」一下你在社交網(wǎng)站上曬出的各種人臉數(shù)據(jù)。
例如，你曾經(jīng)是一名沖浪達(dá)人，之前會將大量的生活照po到社交網(wǎng)站上——
照片可能已經(jīng)被軟件扒得干干凈凈了……
不用擔(dān)心。
如果放上這些經(jīng)過處理后的圖片，這些自動扒圖的人臉識別模型會想要添加更多的訓(xùn)練數(shù)據(jù)，以提高準(zhǔn)確性。
這時候，穿上「隱身衣」圖片在AI看來甚至「效果更好」，就會將原始圖像作為異常值放棄。
華人一作
論文的一作是華人學(xué)生單思雄，高中畢業(yè)于北京十一學(xué)校，目前剛拿到了芝加哥大學(xué)的學(xué)士學(xué)位，將于9月份入學(xué)攻讀博士學(xué)位，師從趙燕斌教授和Heather Zheng教授。
作為芝加哥大學(xué)SAND Lab實(shí)驗(yàn)室的一員，他的研究主要側(cè)重于機(jī)器學(xué)習(xí)和安全的交互，像如何利用不被察覺的輕微數(shù)據(jù)擾動，去保護(hù)用戶的隱私。
從單同學(xué)的推特來看，他一直致力于在這個「透明」的世界中，為我們爭取一點(diǎn)僅存的隱私。
論文的共同一作Emily Wenger同樣來自芝加哥大學(xué)SAND Lab實(shí)驗(yàn)室，正在攻讀CS博士，研究方向是機(jī)器學(xué)習(xí)與隱私的交互，目前正在研究神經(jīng)網(wǎng)絡(luò)的弱點(diǎn)、局限性和可能對隱私造成的影響。
項(xiàng)目鏈接：
https://github.com/Shawn-Shan/fawkes/tree/master/fawkes
論文鏈接：
http://people.cs.uchicago.edu/~ravenben/publications/pdf/fawkes-usenix20.pdf
