[[441689]]

01 機(jī)器學(xué)習(xí)面臨的挑戰(zhàn)

2016年3月，基于深度學(xué)習(xí)算法的阿爾法圍棋（AlphaGo），以4∶1的總比分戰(zhàn)勝圍棋世界冠軍李世石，深度學(xué)習(xí)算法從此一戰(zhàn)成名，成為機(jī)器學(xué)習(xí)領(lǐng)域備受推崇的明星算法，在計(jì)算機(jī)視覺(jué)，語(yǔ)音識(shí)別，自然語(yǔ)言處理、生物信息學(xué)等領(lǐng)域都取得了極好的應(yīng)用成果。

雖然深度學(xué)習(xí)模型、集成學(xué)習(xí)模型（比如XGBoost、LightGBM等）在很多領(lǐng)域都取得了很好的成果，但是這類模型有一個(gè)共同的特點(diǎn)就是：內(nèi)部結(jié)構(gòu)非常復(fù)雜，其運(yùn)作機(jī)制就像一個(gè)黑盒子一樣，難以用人類可以理解的語(yǔ)言去描述，模型輸出結(jié)果也難以被解釋，使得其在一些有關(guān)生命安全或重要決策領(lǐng)域的應(yīng)用受到巨大挑戰(zhàn)。

比如在銀行業(yè)，2019年2月，波蘭政府增加了一項(xiàng)銀行法修正案，該修正案賦予了客戶在遇到負(fù)面信用決策時(shí)可獲得解釋的權(quán)利。這是GDPR（《通用數(shù)據(jù)保護(hù)條例》，General Data Protection Regulation）在歐盟實(shí)施的直接影響之一。這意味著如果決策過(guò)程是自動(dòng)的，那么銀行需要能夠向客戶解釋為什么不批準(zhǔn)貸款。

2018年10月，“亞馬遜人工智能招聘工具偏向男性”的報(bào)道登上了全球的頭條新聞。亞馬遜的模型是基于有偏見的數(shù)據(jù)進(jìn)行訓(xùn)練的，這些數(shù)據(jù)偏向于男性應(yīng)聘者。該模型構(gòu)建了不利于含有“Women's”一詞的簡(jiǎn)歷的規(guī)則。

以上問(wèn)題的提出，表明業(yè)界對(duì)模型的應(yīng)用要求，已經(jīng)不只是停留在準(zhǔn)確性層面，模型結(jié)果能否解釋，模型是否安全、公正、透明等也是機(jī)器學(xué)習(xí)面臨的新挑戰(zhàn)。

02 黑盒模型存在的問(wèn)題

在實(shí)際應(yīng)用中，黑盒模型為什么難以一步到位解決所有問(wèn)題呢？在回答這個(gè)問(wèn)題之前，我們先來(lái)看幾個(gè)銀行業(yè)的小故事。

1）小楊是某銀行的一名理財(cái)客戶經(jīng)理，年關(guān)將至，馬上就要業(yè)績(jī)考核了，但其業(yè)績(jī)離既定的銷售目標(biāo)還有一定的距離，于是他決定使用一個(gè)機(jī)器學(xué)習(xí)模型，判斷他所負(fù)責(zé)的客戶名單中哪些人更有可能會(huì)購(gòu)買基金產(chǎn)品。花了一周時(shí)間編寫代碼和做特征工程，小楊順利地運(yùn)行了一個(gè)XGBoost（Extreme Gradient Boosting，梯度提升）模型，模型的AUC（Area Under Curve，ROC曲線下與坐標(biāo)軸圍成的面積）達(dá)到了0.86，結(jié)果非常理想，他便高興地拿著模型預(yù)測(cè)的名單逐個(gè)進(jìn)行電話營(yíng)銷。結(jié)果在幾百通電話之后，最終只有一兩個(gè)客戶購(gòu)買了基金產(chǎn)品，小楊落寞地對(duì)著自己的代碼陷入了沉思。

2）小蘇是某銀行的風(fēng)控專員，最近銀行新開通的信用卡遇到了嚴(yán)重的逾期還款問(wèn)題，銀行決定對(duì)舊的評(píng)分模型進(jìn)行調(diào)整優(yōu)化，以防止發(fā)生更多的違約情況。于是他用新的訓(xùn)練數(shù)據(jù)對(duì)模型進(jìn)行了更新，并對(duì)一些特征重新進(jìn)行了分箱處理，最終將新模型部署上線。然而沒(méi)過(guò)多久，銀行便開始接到不同的投訴電話：“為什么我已經(jīng)提供了齊全的資料，征信也沒(méi)問(wèn)題，但是我的信用卡審批就是通不過(guò)呢？”“我提交的資料信息與我同事的資料信息是相近的，為什么他的額度比我的高那么多？”……面對(duì)申請(qǐng)人接二連三的質(zhì)疑，小蘇一時(shí)半會(huì)兒也沒(méi)法回答，面對(duì)這個(gè)黑盒模型運(yùn)行所得的評(píng)分模型，他正絞盡腦汁地對(duì)模型進(jìn)行剖析。

3）小何是一位典型的“吃貨”，尤其喜愛喝珍珠奶茶，幾乎每餐之后都會(huì)到手機(jī)銀行App上瀏覽附近的奶茶店。最近她婚期將至，看著自己的體重還在持續(xù)增長(zhǎng)，于是下定決心減肥，并辦了一張健身房的年卡，并且每餐也以沙拉等輕食為主，杜絕珍珠奶茶等高糖分的攝入。令她煩惱的是，每次吃完飯用手機(jī)銀行App結(jié)賬的時(shí)候，App總會(huì)向她推薦附近的奶茶店。為了避免因禁不住誘惑而導(dǎo)致減肥前功盡棄，小何毅然決定卸載該手機(jī)銀行的App。

由于黑盒模型內(nèi)部結(jié)構(gòu)的復(fù)雜性，模型使用者往往無(wú)法得知數(shù)據(jù)進(jìn)入模型之后，是如何得到預(yù)測(cè)結(jié)果的，這就好像變魔術(shù)一樣，魔術(shù)師從黑盒里變出不同的物品，觀眾卻不明所以。

對(duì)于決策者，尤其是對(duì)于高風(fēng)險(xiǎn)領(lǐng)域（比如自動(dòng)駕駛、金融領(lǐng)域、醫(yī)療行業(yè)等）的決策者，在不清楚黑盒模型運(yùn)作原理的情況下，是不敢僅憑模型的預(yù)測(cè)結(jié)果就輕易做出決策的。

[[441690]]

雖然人工智能和機(jī)器學(xué)習(xí)技術(shù)大大提升了人類生活和工作的效率，在很多領(lǐng)域，人工智能都在發(fā)揮著巨大的作用。但不可忽視的是，人工智能、機(jī)器學(xué)習(xí)中的模型黑盒問(wèn)題，也同樣需要引起我們的重視，值得我們深入思考。模型黑盒問(wèn)題具體包括如下三點(diǎn)。

1. 無(wú)法挖掘因果關(guān)系問(wèn)題或因果錯(cuò)判問(wèn)題

我們?cè)谑褂脵C(jī)器學(xué)習(xí)模型時(shí)，不僅希望模型能夠給出正確的預(yù)測(cè)結(jié)果（尤其是在醫(yī)學(xué)、金融、自動(dòng)駕駛等高風(fēng)險(xiǎn)領(lǐng)域），還希望模型能夠?yàn)槲覀兲峁┡袛嘁罁?jù)。

黑盒模型內(nèi)部結(jié)構(gòu)復(fù)雜，使用黑盒模型做預(yù)測(cè)時(shí)，我們會(huì)根據(jù)一些模型的評(píng)價(jià)指標(biāo)（如AUC）去評(píng)估模型的好壞，但即使AUC很高，我們也依然不清楚黑盒模型的判斷依據(jù)是否正確。如果模型無(wú)法給出合理的因果關(guān)系，那么模型的結(jié)果也將很難使人信服。

微軟著名研究院的Caruana曾在論文[1]中提到過(guò)一個(gè)醫(yī)學(xué)上的例子：

在一個(gè)關(guān)于肺炎風(fēng)險(xiǎn)的數(shù)據(jù)集中，我們想要預(yù)測(cè)不同肺炎病人的死亡概率，從而更好地治療高風(fēng)險(xiǎn)的肺炎病人。最準(zhǔn)確的模型是神經(jīng)網(wǎng)絡(luò)，AUC達(dá)到0.86，但是當(dāng)我們使用基于規(guī)則的模型時(shí)，模型學(xué)習(xí)到了“如果病人帶有哮喘，那么他屬于低風(fēng)險(xiǎn)人群”。也就是說(shuō)，帶有哮喘的肺炎患者的死亡率比其他肺炎患者要低。

這個(gè)結(jié)論看起來(lái)模棱兩可，違背了我們的客觀認(rèn)知，但深入挖掘下去，我們便會(huì)發(fā)現(xiàn)其中的邏輯關(guān)系：有哮喘病史的肺炎患者，由于病情的嚴(yán)重性，會(huì)得到更進(jìn)一步的治療，治療的效果通常也會(huì)很好，從而降低了這類患者的死亡率。

如果我們直接使用屬于黑盒模型的神經(jīng)網(wǎng)絡(luò)模型，那么模型由于無(wú)法推導(dǎo)出這樣的因果關(guān)系，從而將帶有哮喘的肺炎病人判斷為低死亡率（低風(fēng)險(xiǎn)）人群，這類人群便有可能錯(cuò)過(guò)最佳治療時(shí)間，實(shí)際上他們需要得到更好的治療。

2. 黑盒模型的不安全性問(wèn)題

黑盒模型的不安全性問(wèn)題可以分為兩大類，具體說(shuō)明如下。

一是對(duì)于建模人員來(lái)說(shuō)，黑盒模型內(nèi)部結(jié)構(gòu)復(fù)雜，當(dāng)模型受到外界攻擊時(shí)，我們通常很難發(fā)現(xiàn)這些攻擊。倘若黑客在原始模型的輸入樣本中添加了一些擾動(dòng)（通常稱為對(duì)抗樣本），那么模型很有可能會(huì)產(chǎn)生錯(cuò)判，建模人員如果無(wú)法及時(shí)調(diào)整模型，就會(huì)導(dǎo)致非常嚴(yán)重的后果。

例如，將黑盒模型應(yīng)用于自動(dòng)駕駛時(shí)，如果黑客向輪胎的圖像樣本中加入一些擾動(dòng)，則可能會(huì)導(dǎo)致輪胎的識(shí)別錯(cuò)誤，從而造成嚴(yán)重的車禍問(wèn)題。如果建模人員在建模時(shí)未發(fā)現(xiàn)模型存在這樣的問(wèn)題，那么在模型投入實(shí)際應(yīng)用時(shí)，行車的安全系數(shù)將會(huì)大大降低。

二是對(duì)于模型的使用者來(lái)說(shuō)，他們并不了解模型的運(yùn)作機(jī)制，只是利用模型的結(jié)果作出決策。

當(dāng)我們拿到一個(gè)新工具時(shí)，我們不僅需要知道如何正確地操作該工具，還需要了解使用該工具時(shí)的注意事項(xiàng)、存在哪些風(fēng)險(xiǎn)點(diǎn)，正如醫(yī)生向病人提供治療的藥物時(shí)，除了用量和服用方式之外，藥物說(shuō)明書上還會(huì)寫明不良反應(yīng)、禁忌和注意事項(xiàng)等，病人了解這些信息后才能安心服藥。

黑盒模型無(wú)法解釋模型的結(jié)果，結(jié)果通常是以概率或評(píng)分的形式給出，使用者對(duì)模型結(jié)果的風(fēng)險(xiǎn)點(diǎn)卻少有了解，這就好比病人不了解藥物的不良反應(yīng)一樣。如果有人使用欺詐或偽造的方式，提升自己在黑盒模型中的評(píng)分，使用者很難從黑盒模型的結(jié)果中發(fā)現(xiàn)異常，這就會(huì)造成模型結(jié)果在使用中存在不安全性的問(wèn)題。

3. 黑盒模型可能存在偏見問(wèn)題

偏見是指對(duì)某類人群帶有主觀意識(shí)情感，就人論事，如性別歧視、種族歧視等都是常見的偏見問(wèn)題。黑盒模型存在偏見問(wèn)題，表面上好像是在說(shuō)黑盒模型能夠反映人類的思想，實(shí)際上是指黑盒模型在做預(yù)測(cè)時(shí)，放大了數(shù)據(jù)收集過(guò)程中可能存在的數(shù)據(jù)不平衡性問(wèn)題，導(dǎo)致模型最終得出具有偏見性的結(jié)果。

比如在美國(guó)廣泛使用的COMPAS算法，該算法通過(guò)預(yù)測(cè)罪犯再次犯罪的可能性來(lái)指導(dǎo)判刑，根據(jù)美國(guó)新聞機(jī)構(gòu)的報(bào)道，COMPAS算法存在明顯的偏見，根據(jù)分析，該系統(tǒng)預(yù)測(cè)黑人被告再次犯罪的風(fēng)險(xiǎn)要遠(yuǎn)遠(yuǎn)高于白人，甚至達(dá)到了后者的兩倍。

從算法的結(jié)果來(lái)分析，黑人的預(yù)測(cè)風(fēng)險(xiǎn)要高于實(shí)際風(fēng)險(xiǎn)，黑人被誤判的幾率是白人的2倍多，也就是說(shuō)，COMPAS算法對(duì)黑人是很不公平的，該算法的應(yīng)用已經(jīng)嚴(yán)重影響到了判決的公正和公平。

有些模型的算法還會(huì)涉及性別歧視、年齡歧視等問(wèn)題。由于黑盒模型缺乏內(nèi)在解釋性，進(jìn)行模型訓(xùn)練時(shí)又難免會(huì)使用不均衡的樣本數(shù)據(jù)，因此使用這樣的模型，問(wèn)題嚴(yán)重時(shí)可能會(huì)引發(fā)一系列的社會(huì)問(wèn)題。同樣的道理，在金融領(lǐng)域，當(dāng)我們做風(fēng)險(xiǎn)評(píng)估時(shí)，黑盒模型可能會(huì)對(duì)不同性別、地域、年齡等特征進(jìn)行不同的處理。

綜上所述，如何避免模型做出帶有偏見性的預(yù)測(cè)，是值得我們關(guān)注的問(wèn)題。