AI 算法偏見（性別、人種……）如今在海外早已不是新鮮議題，不久前，互聯網上的一條視頻就引發了大眾對此大規模的探討。一名年輕的微軟研究人員就此話題在個人網絡留言上展開了對面部識別系統模型所存在偏見的探討，引發了包括 Jeff Dean 等大牛在內的共鳴。她究竟說了些什么？

[[256625]]

事情起源于互聯網上的一個視頻，在視頻中，社會黨眾議員 Alexandria Ocasio-Cortez 聲稱由數學驅動的算法本質上都是擁有種族主義傾向的。這條帖子很快獲得了大眾的響應，其中就包括一位名叫 Anna S. Roth 的研究人員。

原帖轉發量截止目前為止已經達到了 2.8k，擁有超過 7.2k 的留言。

直通車：https://twitter.com/RealSaavedra/status/1087627739861897216

據個人主頁介紹， Anna S. Roth 是微軟技術與研究部門的一名研究人員，專職于微軟的 Project Oxford 項目——這是一個混合了 APIs 與 SDKs，使開發人員能夠輕松利用 Microsoft Research 和 Bing 的計算機視覺、語音檢測和語言理解前沿工作進行再創造的項目。此外，她還曾經入選 Business Insider 雜志「30 位 30 歲以下具有影響力的科技女性」榜單。

她在個人留言上接連發表多達 29 條的短評，簡單概括了面部識別系統模型產生偏見的原因，以及相應的解決方案和現存困境。由于內容淺顯易懂且直中要害，谷歌大腦領導人 Jeff Dean 也忍不住進行推薦。

接下來一起看看 Anna S. Roth 分別說了些什么吧。

關于數據偏差問題

Alexandria Ocasio-Cortez 說的完全在理。我曾經從事面部識別的商業開發工作（當時的方向有點偏，開發的是存在偏見的模型），我認為人們最終會找到一些具體可信的例子搞清 AI 系統是如何產生偏見的。網絡上的專家們解釋了，面部識別系統之所以產生偏見，是因為數據有所偏差。

所以我準備和大家談談：

（1）那些（有偏差的）數據來自哪里。

（2）偏差測量標準的選擇同樣事關緊要。

（需要強調一點是，我只是針對行業所發生的一些事情進行泛泛而談，并非專指本人雇主的某個具體事例。簡單來說，這些都只是我的個人意見，不代表雇主的立場。）

最前沿的面部識別系統都需要在「非常龐大」的數據集上進行訓練。為達到訓練效果，你需要獲取同一個人的多張相片。比如當下發布數據集之一——來自 UW 的 MF2，就擁有 672K 的人員信息和 4.7M 的相片。

相關論文鏈接：

https://homes.cs.washington.edu/~kemelmi/ms.pdf

這些數據主要來源于網絡，比如 MF2 數據集的數據就出自 Flickr；另一個數據集 MS-Celeb-1M（https://www.msceleb.org）的 1000 萬張圖像則是從網上「爬」下來的。需要強調的是，「在公共互聯網上流傳的照片」并不能夠完全代表「世界上的所有人類」。

然而全球的互聯網訪問量并非均勻分布的。連研究人員也一樣。你可能抓取的還是那些以英語作為媒介語的網絡資源/視頻（記住，您需要獲取同一個人的多張照片。）那么我想請問的是，使用 Flickr 的都是哪一些人？在微軟名人數據集 MS Celeb 的論文中，說明了數據集中的 100 萬個名人有超過 3/4 是女性——所以在判斷哪個性別的人群在網上更有名氣時，是否就會陷入 Alexandria Ocasio-Cortez 所謂的「自動化假設」陷阱？對此，負責構建數據集的人員一般會通過多種手段進行調整。

一個非常「燒錢」的選擇是走進「現實世界」中，通過付費的方式進行數據收集。然而想把這件事情做得「正確」（比如收集數據的地點）、做得「符合倫理道德」（比如是否獲得對方同意、公平補償等），可一點都不簡單。然而這些細節卻會導致結果存在「巨大」差異。

當然我們還可以擁有其他的數據來源。比如有些人就想到使用嫌疑人照片（呀！又是一個根深蒂固的社會偏見影響數據集+注釋的例子）。據我所知，一個處在非美國監控州的國內公司可以訪問那些大型政府數據集。（很顯然如果你是 FB，還可以訪問那些具有更好分布的數據。）

數據集不僅僅是你保存數據 + 進行標注的地方。很多數據集需要人類進一步手動進行注釋，一般會通過眾包的形式（即通過在線平臺零碎地給眾包人員支付費用，而且往往金額較小）。眾包形式存在太多來自人類的干擾因素。比如眾包人員的文化背景？他們是不是被問到實際上屬于主觀的問題？（年齡、情緒等）

關于數據偏差測量

如今我們達成的一個共識是，有偏差的數據輸入將導致有偏見的模型。實際上，我們已經擁有許多很酷的技術方法可以解決訓練數據的分布問題。

一般要想評估模型的偏差情況和表現性能，你需要找到方法來進行測量。否則你無法得知模型的偏差原因和偏差程度。打個比方，您也許需要創建一個包含具有各種特征的人員的標簽數據集，以便你在組與子組上測試模型的運行情況。

偏差測量需要綜合這些人的角度和觀點——在哪些問題是重要的以及社會科學層面上可能受到模型影響的人群。打個比方，「如果你戴眼鏡，將導致模型表現變得不夠準確」要比「如果你是有色人種，將導致模型表現變得糟糕」的危害更小，這是有一定社會原因的。

決定哪些內容需要進行測量、構建測量數據集、發布相關標準，是你構建相關系統時的「明智」選擇。因此，當 Alexandria Ocasio-Cortez 說「種族不公被模型傳遞出來，是因為算法仍由人類掌控」時，她是完全正確的。

從過去到現在，對于這么做可能導致的嚴重后果，人們已經一次又一次進行記錄。詳見：http://gendershades.org/。它為致力于解決這些問題的不同人群提供了強而有力的論據。（注：這也意味著國際化與多樣性。比如計算機視覺領域的大部分工作都是在中國完成創建和消費。因此這些主題都具有國際化視角。）

相關解決方案

回到 Alexandria Ocasio-Cortez 引發的議論。她給到我們的一點啟發是，AI 倫理學并非單純的「減少偏見的技術方法」或者「應用倫理學」。而是偏見滲入到模型當中、或者模型以不適合的方式被使用、或者循環反饋機制加強偏見，因為這些原因交織而成的新問題。

我經常回想《大西洋》雜志一篇關于德國執法部門調查庇護申請的報道中所出現的這句話。當最終采用這些概率系統的用戶將系統的性能歸結為「天賜」的，而非人類，將會發生什么事情？

文章鏈接：

https://www.theatlantic.com/magazine/archive/2018/04/the-refugee-detectives/554090/

「BAMF 的面部識別軟件以及由它所繪制的龐大數據庫，現在看來像是「天賜的」，一位職員帶有敬意地表示道。「我從來從來沒見它出過錯。」

我試圖給出一些實際例子，說明涉及面部的識別能力可能導致什么樣的嚴重后果，以幫助大家理解這個視頻的大背景。然而，這些想法實際上都來自學界和公眾的倡導。「當下」這個領域正在產生「如此之多」的學術研究，這些都是那些有見識的想法的來源。我們很幸運能夠向 @timnitGebru、 @jovialjoy,、@hannawallach,、@mathbabedotorg,、@jennwvaughan 這樣的專家們學習。

還有許多來自學術界和社會活動界正在就如何記錄、理解和減少偏見對人工智能的影響，進而減少人工智能對社會的負面影響，紛紛提出自己的想法。我們可以從這些地方找到這些想法 http://gendershades.org/（對行業實踐和公眾意識有著巨大的影響），以及這里 https://fatconference.org/index.html

我就以這些話作為本次意見發表的收尾吧。作為一名過去經常投入在面部識別相關研究工作的人，我非常感謝這個領域的專家們，他們的功勞包括發現了我當時所研究系統的嚴重問題（以及創造性的修復方法）。