Nature：AI為什么總是歧視重重？
大數(shù)據(jù)文摘出品
編譯：胡笳、王一丁、小七、CoolBoy
當(dāng)使用谷歌翻譯將西班牙語的新聞翻譯為英語時(shí)，涉及到女性的短語通常都會翻譯為“他說”或“他寫道”。
常用于處理和分析大量自然語言數(shù)據(jù)的詞嵌入(Word Embedding)算法通常會將歐美名字預(yù)測為令人愉快的人物形象，而將非裔美國人名預(yù)測為令人不愉快的人物形象。
這些只是AI應(yīng)用歧視特定人群中的一小部分案例，還有更多未被發(fā)現(xiàn)。
正如很多學(xué)者所指出的，偏頗決策并非AI獨(dú)有，但隨著AI的影響范圍逐漸擴(kuò)大，使得這個(gè)問題的解決變得尤為重要。
實(shí)際上，偏見問題的普遍性意味著我們需要系統(tǒng)的解決方案，下文我們列出了幾種可能的策略。
有偏數(shù)據(jù)
無論是在學(xué)術(shù)界還是工業(yè)界，從發(fā)行的出版物和媒體等公開刊物和報(bào)道來看，計(jì)算機(jī)科學(xué)家們均傾向于通過訓(xùn)練更加復(fù)雜的算法而獲得榮譽(yù)，而對于數(shù)據(jù)收集、數(shù)據(jù)處理和數(shù)據(jù)組織相對關(guān)注較少。
AI產(chǎn)生偏差的主要原因在于訓(xùn)練數(shù)據(jù)。大部分機(jī)器學(xué)習(xí)任務(wù)都基于大規(guī)模的、帶標(biāo)注的數(shù)據(jù)集進(jìn)行訓(xùn)練。例如，針對圖片分類的深度神經(jīng)網(wǎng)絡(luò)通常基于ImageNet進(jìn)行訓(xùn)練，而ImageNet上有著超過1400萬張的標(biāo)注圖像集。
在自然語言處理中，標(biāo)準(zhǔn)算法一般基于具有數(shù)十億個(gè)單詞的語料庫進(jìn)行訓(xùn)練。研究人員通常使用特定查詢關(guān)鍵詞通過爬取類似谷歌圖像、谷歌新聞等網(wǎng)頁來搜集數(shù)據(jù)，或者通過整合例如維基百科等比較容易獲取的數(shù)據(jù)源上的信息來構(gòu)建數(shù)據(jù)集。
這些數(shù)據(jù)集后續(xù)通常由研究生或眾包平臺，如亞馬遜眾包平臺(Amazon Mechanical Turk)進(jìn)行標(biāo)注處理。
這些處理方法可能會無意識地讓數(shù)據(jù)產(chǎn)生性別、種族和文化偏見。
通常來說，數(shù)據(jù)中包含的某些群體占比較高，而另一些群體則占比較少。ImageNet作為推動(dòng)計(jì)算機(jī)視覺研究的訓(xùn)練數(shù)據(jù)源，其中超過45% 的數(shù)據(jù)來源于美國用戶，而這些數(shù)據(jù)提供者僅占全世界人口的 4%。
相比之下，中國和印度用戶總共貢獻(xiàn)了 3% 的數(shù)據(jù)，而這些國家的人口占據(jù)了全世界人口的36% 。
這種地理多樣性的缺乏從某種情況下解釋了為何計(jì)算機(jī)視覺算法會將一張美國傳統(tǒng)新娘的照片標(biāo)記為“新娘”、“禮服”、“女人”、“婚禮”，而將另一張北印度新娘的照片則標(biāo)記為“表演藝術(shù)”和“服裝”。
在醫(yī)學(xué)領(lǐng)域，機(jī)器學(xué)習(xí)預(yù)測器可能特別容易受到有偏數(shù)據(jù)集的影響，因?yàn)獒t(yī)學(xué)數(shù)據(jù)的生產(chǎn)和標(biāo)注成本非常高。去年，研究人員使用深度學(xué)習(xí)從照片中識別皮膚癌。
他們在129,450張圖片集上進(jìn)行模型訓(xùn)練，其中60% 的圖片來源于從谷歌圖片。但是其中有不到5%的圖片是屬于深色皮膚人群的，并且該算法并未在深色皮膚人群上進(jìn)行過測試。因此這個(gè)分類器對不同人群的性能可能會有顯著變化。
造成偏差的另一個(gè)原因是算法本身。
典型的機(jī)器學(xué)習(xí)程序會嘗試***化訓(xùn)練數(shù)據(jù)的整體預(yù)測準(zhǔn)確性。如果訓(xùn)練數(shù)據(jù)中一組特定群體的出現(xiàn)頻率明顯超過其他群體，則程序?qū)槍Υ祟惾后w的數(shù)據(jù)進(jìn)行優(yōu)化來提供整體準(zhǔn)確率。
一般計(jì)算機(jī)科學(xué)家基于“測試數(shù)據(jù)集”進(jìn)行算法評估，但測試集通常是原始訓(xùn)練集的隨機(jī)子樣本，所以也有可能存在同樣的偏差。
有缺陷的算法可以通過循環(huán)反饋放大偏差。想象一下根據(jù)統(tǒng)計(jì)學(xué)訓(xùn)練的系統(tǒng)，例如谷歌翻譯，其默認(rèn)使用的是男性代名詞。
這種模式是由英語語料庫中男性與女性代名詞比例2:1的情況造成的。更糟的是，每一次翻譯程序默認(rèn)翻譯為“他說”，都會增加相應(yīng)男性代名詞出現(xiàn)在網(wǎng)頁上的幾率——這可能會潛在地影響來之不易數(shù)據(jù)糾偏進(jìn)展。
得益于大規(guī)模的社會變革，才使得男女代名詞的比例從20世紀(jì)60年代的4:1下降到現(xiàn)在的2:1。
平衡傾斜
數(shù)據(jù)中的偏差常常會反映出制度建設(shè)和社會權(quán)利關(guān)系的深層次和隱性失衡。以維基百科為例，它似乎是一個(gè)豐富多樣的數(shù)據(jù)源。
但是該網(wǎng)站的傳記條目中只有不到18%是關(guān)于女性的。從女性文章鏈接到男性文章的次數(shù)遠(yuǎn)大于反過來鏈接的次數(shù)，這使得男性更容易被搜索引擎獲取到。男性還更多的被浪漫伴侶和家庭的相關(guān)文章所提及。
因此，建立訓(xùn)練數(shù)據(jù)集時(shí)必須注意算法調(diào)優(yōu)情況和社會意識行為。具體而言，應(yīng)該采取措施來確保數(shù)據(jù)集具有多樣性，并且不代表特定群體。
這意味著不能再采用簡單的分類——“男/女”、“黑/白”等等——這些分類很難表達(dá)性別和種族身份的復(fù)雜性。
一些學(xué)者已經(jīng)開始對此展開工作。計(jì)算機(jī)科學(xué)家最近發(fā)現(xiàn)，商業(yè)面部識別系統(tǒng)在識別膚色較深的女性相比膚色較淺的男性會更容易產(chǎn)生性別分類錯(cuò)誤，錯(cuò)誤率分別為35%和0.8%。
為解決這個(gè)問題，研究人員重新構(gòu)建了一個(gè)由1,270個(gè)人組成的新的圖像數(shù)據(jù)集，來均衡性別和種族比例。使用這些數(shù)據(jù)重新訓(xùn)練和微調(diào)后的面部分類算法應(yīng)該可以提高其準(zhǔn)確性。
參考文獻(xiàn)：Nature 558, 357–360; 2018
https://www.nature.com/articles/d41586-018-05469-3
為了幫助確定偏差來源，我們建議注釋者使用標(biāo)準(zhǔn)化元數(shù)據(jù)對訓(xùn)練數(shù)據(jù)集的內(nèi)容進(jìn)行系統(tǒng)化的標(biāo)注。一些研究小組已經(jīng)在設(shè)計(jì)包含機(jī)器學(xué)習(xí)數(shù)據(jù)集的元數(shù)據(jù)和“有效標(biāo)簽”的“數(shù)據(jù)表”。
含機(jī)器學(xué)習(xí)數(shù)據(jù)集的元數(shù)據(jù)和“營養(yǎng)標(biāo)
每個(gè)訓(xùn)練數(shù)據(jù)集都應(yīng)有相關(guān)信息來說明該數(shù)據(jù)集是如何收集以及是如何對數(shù)據(jù)進(jìn)行注釋的。如果數(shù)據(jù)包含有關(guān)人員的信息，則應(yīng)提供有關(guān)地理、性別、種族和其他人口統(tǒng)計(jì)信息的摘要。如果數(shù)據(jù)標(biāo)簽是通過眾包完成的，那么應(yīng)該包括有關(guān)人群參與者的基本信息，以及他們給出的確切請求或指示。
數(shù)據(jù)管理者應(yīng)盡可能提供與數(shù)據(jù)相關(guān)的準(zhǔn)確描述。例如，在刑事司法數(shù)據(jù)的例子中，了解模型訓(xùn)練過哪些“犯罪”類型數(shù)據(jù)有助于應(yīng)用和解釋該模型。
內(nèi)置修復(fù)程序
許多期刊已經(jīng)要求作者提供類似的實(shí)驗(yàn)數(shù)據(jù)信息作為出版的先決條件。例如，Nature要求作者將所有微陣列數(shù)據(jù)上傳到開放存取庫Gene Expression Omnibus——這就有需要作者提交實(shí)驗(yàn)協(xié)議的元數(shù)據(jù)。
我們鼓勵(lì)像國際機(jī)器學(xué)習(xí)會議這樣的會議組織者去提出類似的要求，將標(biāo)準(zhǔn)化的元數(shù)據(jù)作為最終提交和同行評審過程的重要組成部分。數(shù)據(jù)存儲庫的主機(jī)(例如OpenML)和AI競爭平臺(例如Kaggle)也應(yīng)該這樣做。
最重要的是，計(jì)算機(jī)科學(xué)家應(yīng)該努力開發(fā)更加完善的算法來消除數(shù)據(jù)中存在的人的偏見。
目前研究者正在探尋各種方法來解決數(shù)據(jù)偏差的問題，其中之一是納入約束，本質(zhì)上就是推動(dòng)機(jī)器學(xué)習(xí)模型，以確保它在不同的子群體和類似的個(gè)體之間實(shí)現(xiàn)公平的算法。
一種相關(guān)的方法是改變學(xué)習(xí)算法，以減少其對敏感屬性如種族、性別和收入等以及與這些特征相關(guān)的信息的依賴。
這種新產(chǎn)生的去除偏差的方法很有潛力，但需要通過實(shí)踐的檢驗(yàn)與完善。
然而，不可回避的問題是，種族、性別和其他相關(guān)信息是需要被準(zhǔn)確記錄的。除非有很好的實(shí)例，否則很難知道應(yīng)該對模型施加哪些約束或更正。相關(guān)方法也要求算法設(shè)計(jì)者可以先驗(yàn)地確定他們想要避免哪些類型的偏差。
一種互補(bǔ)的方法是使用機(jī)器學(xué)習(xí)本身來識別和量化算法和數(shù)據(jù)中的偏差。 我們稱之為進(jìn)行AI審計(jì)，其中審計(jì)員是一種系統(tǒng)地探測原始機(jī)器學(xué)習(xí)模型，以識別模型和訓(xùn)練數(shù)據(jù)中的偏差的算法。
以我們最近工作中使用的一種流行的機(jī)器學(xué)習(xí)方法——詞嵌入為例，來量化美國的歷史成見。詞嵌入將每個(gè)英語單詞映射到空間中的點(diǎn)(幾何向量)，這樣向量之間的距離就能捕獲對應(yīng)單詞之間的語義相似性。
它捕捉了類比關(guān)系，例如'man'是'king'，'woman'是'queen'。我們開發(fā)了一種算法——AI審計(jì)員，來查詢其他性別類比的嵌入。這表明“man”是“doctor”，而“woman”是“nurse”;“man”是“computer programmer”，而“woman”是“homemaker”“。
一旦審核員在單詞嵌入和原始文本數(shù)據(jù)中揭示了歷史成見，就可以通過修改單詞向量的位置來減少偏差。此外，通過評估成見的演變過程，對歷史文本進(jìn)行訓(xùn)練的算法可能會有消除偏差的作用。
例如，從1910年到1990年，谷歌圖書每十年的美國文本數(shù)據(jù)嵌入一次，就會發(fā)現(xiàn)這期間美國人對亞裔的態(tài)度令人非常震驚且變化無常。1910年，美國人對亞裔的描述為“怪異”和“野蠻”。
到1990年，在第二次世界大戰(zhàn)后和20世紀(jì)80年代的移民浪潮時(shí)期，美國人的態(tài)度發(fā)生了巨大轉(zhuǎn)變，又用“抑制”和“敏感”來描述亞裔。
根源性方法
計(jì)算機(jī)科學(xué)家、倫理學(xué)家、社會科學(xué)家和其他許多人都在努力提高數(shù)據(jù)和AI的公平性，我們也是時(shí)候考慮一下何為公平了。
數(shù)據(jù)展現(xiàn)了這個(gè)世界的本來面貌，還是被塑造成人們想要它成為的樣子?同樣，一個(gè)人工智能工具是否應(yīng)該用來評估一份工作的候選人，以及這個(gè)人是否能很好地融入工作環(huán)境? 誰又應(yīng)該決定優(yōu)先考慮哪種公平觀念?
為了解決這些問題并評估訓(xùn)練數(shù)據(jù)和算法的更廣泛影響，機(jī)器學(xué)習(xí)研究人員必須與社會科學(xué)家以及人文、性別、醫(yī)學(xué)、環(huán)境和法律等方面的專家進(jìn)行交流。
當(dāng)前，正在努力促進(jìn)這種合作，包括我們在加州斯坦福大學(xué)參加的“以人為本的AI”計(jì)劃。這種參與必須從本科階段開始，這個(gè)階段的學(xué)生不僅要了解算法的工作原理，同時(shí)還要研究AI的社會背景。
設(shè)備、程序和流程塑造了我們的態(tài)度、行為和文化。AI正在改變經(jīng)濟(jì)和社會，改變我們溝通和工作的方式，重塑治理模式和政治環(huán)境。我們的社會長期忍受著不平等，AI絕不能與此沆瀣一氣。
相關(guān)報(bào)道：https://www.nature.com/articles/d41586-018-05707-8
【本文是51CTO專欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文，微信公眾號“大數(shù)據(jù)文摘（ id: BigDataDigest）”】
