在神經網絡中，數據從一層傳遞到另一層，每一步都經歷一些簡單的轉變。在輸入層和輸出層之間還隱藏著若干層，以及眾多節點組和連接。其中往往找不出可被人類解讀的規律，與輸入或輸出也沒有明顯的聯系。“深度”網絡便是隱藏層數量較多的神經網絡。

在現代機器學習算法中，可解釋性與精確度難以兩全其美。深度學習精確度最高，同時可解釋性最低。

以下為文章全文：

作為IBM的一名研究科學家，迪米特里·馬里奧托夫（Dmitry Malioutov）其實不太說得上來自己究竟打造了什么。他的部分工作內容是打造機器學習系統、解決IBM公司客戶面臨的棘手問題。例如，他曾為一家大型保險公司編寫了一套程序。這項任務極具挑戰性，要用到一套十分復雜的算法。在向客戶解釋項目結果時，馬里奧托夫更是大傷腦筋。“我們沒辦法向他們解釋這套模型，因為他們沒受過機器學習方面的培訓。”

其實，就算這些客戶都是機器學習專家，可能也于事無補。因為馬里奧托夫打造的模型為人工神經網絡，要從特定類型的數據中尋找規律。在上文提到的例子中，這些數據就是保險公司的客戶記錄。此類網絡投入實際應用已有半個世紀之久，但近年來又有愈演愈烈之勢。從語音識別到語言翻譯，從下圍棋的機器人到自動駕駛汽車，各行各業都在該技術的驅動下出現了新的突破。

雖然現代神經網絡的表現令人激動，但也面臨一個棘手的問題：沒人理解它們的運行機制，這也就意味著，沒人能預測它們何時可能失靈。

以機器學習專家里奇·卡魯阿納（Rich Caruana）和同事們前幾年報告的一起事件為例：匹茲堡大學醫學中心的一支研究團隊曾利用機器學習技術預測肺炎患者是否會出現嚴重并發癥。他們希望將并發癥風險較低的患者轉移到門診進行治療，好騰出更多床位和人手。該團隊試了幾種不同的方法，包括各種各樣的神經網絡，以及由軟件生成的決策樹，后者可總結出清晰易懂、能被人類理解的規則。

神經網絡的正確率比其它方法都要高。但當研究人員和醫生們分析決策樹提出的規則時，卻發現了一些令人不安的結果：按照其中一條規則，醫生應當讓已患有哮喘的肺炎病人出院，而醫生們都知道，哮喘患者極易出現并發癥。

這套模型完全遵從了指令：從數據中找出規律。它之所以給出了如此差勁的建議，其實是由數據中的一個巧合導致的。按照醫院政策，身患哮喘的肺炎患者需接受強化護理。而這項政策效果極佳，哮喘患者幾乎從不會產生嚴重并發癥。由于這些額外護理改變了該醫院的患者記錄，算法預測的結果也就截然不同了。

這項研究充分體現了算法“可解釋性”的價值所在。卡魯阿納解釋道：“如果這套以規則為基礎的系統學到了‘哮喘會降低并發癥風險’這一規則，神經網絡自然也會學到這一點。”但人類讀不懂神經網絡，因此很難預知其結果。馬里奧托夫指出，若不是有一套可解釋的模型，“這套系統可能真的會害死人。”

正因為如此，許多人遲疑不前、不敢對神秘莫測的神經網絡下注。馬里奧托夫為客戶提供了兩套模型：一套是神經網絡模型，雖然精確，但難以理解；另一套則是以規則為基礎的模型，能夠用大白話向客戶解釋運作原理。盡管保險公司對精確度要求極高，每個百分點都十分重要，但客戶仍選擇了精確度稍遜的第二套模型。“他們覺得第二套模型更容易理解，”馬里奧托夫表示，“他們非常看重直觀性。”

隨著神秘難解的神經網絡影響力與日俱增，就連政府都開始對其表示關注。歐盟兩年前提出，應給予公民“要求解釋”的權利，算法決策需公開透明。但這項立法或許難以實施，因為立法者并未闡明“透明”的含義。也不清楚這一省略是由于立法者忽略了這一問題、還是覺得其太過復雜導致。

事實上，有些人認為這個詞根本無法定義。目前我們雖然知道神經網絡在做什么（畢竟它們歸根到底只是電腦程序），但我們對“怎么做、為何做”幾乎一無所知。神經網絡由成百上千萬的獨立單位、即神經元構成。每個神經元都可將大量數字輸入轉化為單個數字輸出，再傳遞給另一個、或多個神經元。就像在人腦中一樣，這些神經元也分成若干“層”。一組細胞接收下一層細胞的輸入，再將輸出結果傳遞給上一層。

神經網絡可通過輸入大量數據進行訓練，同時不斷調整各層之間的聯系，直到該網絡計算后輸出的結果盡可能接近已知結果（通常分為若干類別）。近年來該領域之所以發展迅猛，還要歸功于幾項可快速訓練深度網絡的新技術。在深度網絡中，初始輸入和最終輸出之間相隔多層。有一套叫AlexNet的著名深度網絡，可對照片進行歸類，根據照片的細微差別將其劃入不同類別。該網絡含有超過6000萬個“權重”，根據不同權重，神經元會對每項輸入給予不同程度的關注。隸屬于康奈爾大學和AI初創公司Geometric Intelligence的計算機科學家杰森·尤辛斯基（Jason Yosinski）指出：“要想理解這個神經網絡，你就要對這6000萬個權重都有一定的了解。”

而就算能夠實現這種可解讀性，也未必是件好事。對可解讀性的要求相當于制約了系統的能力，使模型無法僅關注輸入輸出數據、提供“純粹”的解決方案，從而有降低精確度之嫌。美國國防部高級研究計劃局項目主管戴維·甘寧（David Gunning）曾在一次會議上對此進行了總結。在他展示的圖表中，深度神經網絡是現代機器學習方法中最難以理解的一種，而以規則為基礎、重視可解釋性勝過效率的決策樹則是最容易理解的一種。

現代機器學習技術為開發者提供了不同的選擇：究竟是要精確獲知結果，還是要以犧牲精確度為代價、了解出現該結果的原因？“了解原因”可幫助我們制定策略、做出適應、并預測模型何時可能失靈。而“獲知結果”則能幫助我們即刻采取恰當行動。

這實在令人左右為難。但一些研究人員提出，如果既能保留深度網絡的多層構造、又能理解其運作原理，豈不是最好？令人驚奇的是，一些最受看好的研究所其實是將神經網絡作為實驗對象看待的，即沿襲生物科學的思路，而不是將其視作純數學的研究對象。尤辛斯基也表示，他試圖“通過我們了解動物、甚至人類的方式來了解深度網絡。”他和其他計算機科學家借鑒了生物研究技術，借神經科學家研究人腦的方式研究神經網絡：對各個部件展開詳細分析，記錄各部件內部對微小輸入變化的反應，甚至還會移除某些部分、觀察其余部分如何進行彌補。

在從無到有地打造了一種新型智能之后，科學家如今又將其拆開，用數字形式的“顯微鏡”和“手術刀”對這些“虛擬器官”展開分析。

尤辛斯基坐在一臺電腦前、對著網絡攝像頭說話。攝像頭接收的數據被輸入深度神經網絡，而與此同時，該網絡也在由尤辛斯基和同事們開發的Deep Visualization（深度可視化）軟件工具包進行分析。尤辛斯基在幾個屏幕間來回切換，然后將網絡中的一個神經元放大。“這個神經元似乎能夠對面部圖像做出反應。”人腦中也有這種神經元，其中多數都集中在一處名為“梭狀臉區”（fusiform face area）的腦區中。該腦區最早由1992年開始的一系列研究發現，被視作人類神經科學最可靠的觀察結果之一。對腦區的研究還需借助正電子發射計算機斷層掃描等先進技術，但尤辛斯基只需憑借代碼、便可對人造神經元展開詳細分析。

借助該方法，尤辛斯基可將特定的人造神經元與人類能理解的概念或物體（如人臉）建立起映射關系，從而將神經網絡變為有力工具。該研究還挑明了圖片中最容易激發面部神經元反映的特征。“眼睛顏色越深、嘴唇越紅，神經元的反應就更為強烈。”

杜克大學計算機科學、電子與計算機工程教授辛西婭·魯丁（Cynthia Rudin）認為，這些“事后解讀”本身是有問題的。她的研究重點為以規則為基礎的機器學習系統，可應用于罪犯量刑、醫療診斷等領域。在這些領域中，人類能夠進行解讀，且人類的解讀十分關鍵。但在視覺成像等領域，“個人的解讀結果純屬主觀。”誠然，我們可以通過識別面部神經元、對神經網絡的響應進行簡化，但如何才能確定這就是該網絡尋找的結果呢？無獨有偶，有一套著名理論認為，不存在比人類視覺系統更簡單的視覺系統模型。“對于一個復雜系統在做什么事情，可以有很多種解釋，”魯丁指出，“難道從中選出一個你‘希望’正確的解釋就行了嗎？”

尤辛斯基的工具包可以通過逆向工程的方式、找出神經網絡自身“希望”正確的結果，從而在部分程度上解決上述問題。該項目先從毫無意義的“雪花”圖像開始，然后對像素進行逐個調整，通過神經網絡訓練的反向過程逐步修改圖片，最終找出能夠最大限度激發某個神經元響應的圖片。將該方法運用到AlexNet神經元上后，該系統生成了一些奇奇怪怪的照片，雖然看上去頗為詭異，但的確能看出屬于它們被標記的類別。

這似乎支持了尤辛斯基的論斷：這些面部神經元尋找的確實是面部圖像。但還有一個問題：在生成這些圖像的過程中，該流程依賴了一種名為“自然圖像優先”（natural image prior）的統計學約束，因此其生成的圖像均會模仿真實物體照片的結構。而當他去除這些規則后，該工具包仍會選取被其標記為“信度最大”的圖片，但這些圖片看上去就像電視機失去信號時的“雪花”一樣。事實上，尤辛斯基指出，AlexNet傾向于選擇的大部分圖片在人眼看來都是一片亂糟糟的“雪花”。他承認道：“很容易弄清如何讓神經網絡生成極端結果。”

為避免這些問題，弗吉尼亞理工大學電子與計算機工程助理教授杜魯夫·巴特拉（Dhruv Batra）采用了一種更高級的實驗方法對深度網絡進行解讀。他沒有去試圖尋找網絡內部結構的規律，而是用一種眼動追蹤技術分析神經網絡的行為。在研究生阿比謝克·達斯（Abhishek Das）和哈什·阿格拉瓦爾（Harsh Agrawal）的帶領下，巴特拉的團隊向一個深度網絡就某張圖片提問，如房間窗戶上是否有窗簾等等。不同于AlexNet或類似系統，達斯的網絡每次只關注圖片的一小部分，然后“掃視”圖片各處，直到該網絡認為已經得到了足夠的信息、可以回答問題為止。經過充分訓練后，這一深度神經網絡的表現已經非常出色，精確度足以與人類的最高水平媲美。

接下來，達斯、巴特拉和同事們還想了解該網絡是如何做出決策的。于是他們分析了該網絡在圖片上選取的觀察點。而結果令他們大吃一驚：在回答“圖中是否有窗簾”的問題時，該網絡根本沒去尋找窗戶，而是先對圖片底部進行觀察，如果發現了床鋪，就停下來不找了。看來在用來訓練該網絡的數據集中，裝有窗簾的窗戶可能常出現在臥室里。

該方法雖然揭露了深度網絡的一些內部運行機制，但也凸顯了可解釋性帶來的挑戰。巴特拉指出：“機器捕捉到的并不是關于這個世界的真相，而是關于數據集的真相。”這些機器嚴格按照訓練數據進行了調整，因此很難總結出它們運作機制的普遍規則。更重要的是，你要是不懂它如何運作，就無法預知它會如何失靈。而從巴特拉的經驗來看，當它們失靈的時候，“就會輸得一敗涂地。”

圖為深度神經網絡中的單個神經元（由綠框標出）對尤辛斯基的面部圖像做出反應，就像人腦的某個腦區（標為黃色）也會對面部圖像做出反應一樣。

圖為“深度視覺化”工具包生成的“理想貓臉”。該程序先從類似電視機沒信號時的“雪花”圖像開始，對像素進行逐個調整，直到AlexNet神經網絡的面部神經元產生最大響應為止。

尤辛斯基和巴特拉等研究人員面臨的一些障礙對人腦科學家來說也并不陌生。例如，對神經成像的解讀就常常遭到質疑。2014年，認知神經科學家瑪莎·法拉（Martha Farah）在一篇領域評述中寫道：“令人擔憂的是……（功能性腦部）圖像更像是研究人員的創造發明、而非觀察結果。”這一問題在各種智能系統中也屢屢出現，說明無論對人腦、還是對智能的研究而言，該問題都會成為一大障礙。

追求可解釋性是否為一項愚蠢之舉呢？2015年，加州大學圣地亞哥分校的扎克利·立頓（Zachary Lipton）發表了一篇名為《模型可解釋性的迷思》（The Myth of Model Interpretability）的博文，批判性地探討了解讀神經網絡背后的動機、以及為大型數據集打造可解讀的機器學習模型的價值。在2016年國際機器學習大會（ICML）上，他還向馬里奧托夫與兩名同事組織的“人類可解釋性”專題研討會提交了一篇與該話題相關的、頗具爭議性的論文。

立頓指出，許多學者并不贊同“可解釋性”這一概念。因此他認為，要么是人們對可解釋性的理解還不夠，要么是它有太多可能的含義。無論是哪種情況，追求可解釋性也許都無法滿足我們對“簡單易懂的神經網絡輸出”的渴求。立頓在博文中指出，當數據集過大時，研究人員完全可以抑制去解讀的沖動，要相信“憑借經驗也能成功”。他表示，該領域的目的之一，便是要“打造學習能力遠超人類的模型”，如果太過注重可解釋性，就難以使這類模型充分發揮潛力。

但這種能力既是特點也是缺陷：如果我們不明白網絡輸出是如何生成的，就無從知曉該網絡需要何種輸入。1996年，英國蘇塞克斯大學的艾德里安·湯普森（Adrian Thompson）采用與如今訓練深度網絡相似的技術、用軟件設計了一款電路。這一電路要執行的任務很簡單：區分兩個音頻的音調。經過成千上萬次調整和重排后，該軟件終于找到了一種能近乎完美地完成任務的配置。

但湯普森驚訝地發現，該電路所用元件數量比任何人類工程師的設計都要少，甚至有幾個元件根本沒有和其它元件相連。而要讓電路順利運作，這些元件應當不可或缺才對。

于是他對電路進行了剖析。做了幾次實驗后，他發現該電路的相鄰元件間存在微弱的電磁干擾。未與電路相連的元件通過干擾鄰近電場、對整個電路造成了影響。人類工程師通常會杜絕這類干擾，因為干擾的結果難以預料。果不其然，若用另一組元件復制該電路布局，甚至只是改變環境溫度，同樣的電路便會徹底失靈。

該電路揭露了機器訓練的一大重要特征：它們總是盡可能緊湊簡潔，與所在環境完美相容，但往往難以適應其它環境。它們能抓住工程師發現不了的規律，但不知道別處是否也有這一規律。機器學習研究人員想盡力避免這種名為“過擬合”（overfitting）的現象。但隨著應用這些算法的情況愈發復雜多變，這一缺陷難免會暴露出來。

普林斯頓大學計算機科學教授桑吉夫·阿羅拉（Sanjeev Arora）認為，這一問題是人類追求可解釋模型的主要動機，希望有了可解釋模型后、能對網絡進行干預和調整。距阿羅拉表示，有兩大問題可體現缺乏可解釋性對機器性能造成的硬性限制。一是“組合性”（composability）：當一項任務同時涉及多項決策時（如圍棋或自動駕駛汽車），神經網絡便無法高效判定是哪個決策導致了任務失敗。“人類在設計某樣東西時，會先弄清不同元件的作用，再將其組合在一起，因此能夠對不適合當前環境的元件進行調整。”

二是阿羅拉所稱的“域適應性”（domain adaptability），即將在某種情境中學到的知識靈活運用于其它情境的能力。人類非常擅長這項任務，但機器則會出現各種離奇錯誤。據阿羅拉描述，即使只對環境做了微調、人類調整起來不費吹灰之力，計算機程序也會遭遇慘敗。例如，某個網絡經過訓練后、能對維基百科等正式文本的語法進行分析，但如果換成推特這樣的口語化表達，就會變得毫無招架之力。

按這樣來看，可解釋性似乎不可或缺。但我們真的理解它的意思嗎？著名計算機科學家馬文·閔斯基用“手提箱詞匯”（suitcase word）來形容這類詞匯，包括“意識”（consciousness）、“情緒”（emotion）等用來描述人類智能的單詞。閔斯基指出，這些詞其實反映了多種多樣的內在機制，但都被鎖在“手提箱”中。一旦我們用這些詞代替了更根本性的概念、僅對這些詞匯進行研究，我們的思維就會被語言所局限。那么在研究智能時，“可解釋性”會不會也是這樣一個“手提箱詞匯”呢？

雖然很多研究人員都持樂觀態度，認為理論學家遲早能打開這個“手提箱”、發現某套主宰機器學習（或許也包括人類學習）的統一法則或原理，就像牛頓的力學原理一樣。但也有人警告稱，這種可能性微乎其微。紐約城市大學哲學教授馬西莫·皮戈里奇（Massimo Pigliucci）指出，神經科學、乃至人工智能領域所謂的“理解”也許是一種“集群概念”，即可能有多個不同定義。如果該領域真的有“理解”之說，也許相對于物理學、會更接近進化生物學的情況。也就是說，我們將發現的也許不是“基本力學原理”，而是“物種起源學說”。

當然，這并不意味著深度網絡將預示著某種新型自主生命的出現。但深度網絡就像生命本身一樣費解。該領域采用的漸進式實驗手段和事后解讀方式也許并不是在黑暗中苦苦等待理論之光時的絕望情緒，而是我們能夠盼來的唯一光芒。可解釋性也許會以碎片化的形式呈現出來，就像不同類別的“物種”一樣，采用的分類法則根據具體情境而定。

在國際機器學習大會的專題研討會結束時，部分發言人參加了一場討論會，試圖給“可解釋性”下一個定義。結果每個人都各執一詞。進行了一系列討論后，大家似乎達成了一點共識：一個模型要能被解釋，就要具備“簡單性”（simplicity）。但在簡單性的定義問題上，大家又產生了分歧。“最簡單”的模型究竟是指依賴最少特征的模型？還是程序規模最小的模型？還是有其它解釋？一直到研討會結束，大家都沒有達成共識。

正如馬里奧托夫說的那樣：“簡單性并不簡單。”