[[267801]]

可解釋的人工智能可以讓人們理解人工智能系統是如何做出決定的，而這將成為醫療、制造、保險、汽車領域的關鍵。那么這對于組織意味著什么?

例如，流媒體音樂服務平臺Spotify計劃向用戶推薦歌手Justin Bieber的歌曲，卻推薦了Belieber的歌，顯然這有些令人感到困擾。這并不一定意味著Spotify網站的程序員必須確保他們的算法透明且易于理解，但人們可能會發現這有些偏離目標，但其后果顯然是微不足道的。

這是可解釋人工智能的一個試金石——即機器學習算法和其他人工智能系統，它們可以產生人類可以容易理解并追溯到起源的結果?；谌斯ぶ悄艿慕Y果越重要，對可解釋人工智能的需求就越大。相反，相對低風險的人工智能系統可能只適合黑盒模型，人們很難理解其結果。

Jane.ai公司人工智能研發主管Dave Costenaro說：“如果人工智能算法的效果不夠好，比如音樂服務公司推薦的歌曲一樣，那么社會可能不需要監管機構對這些建議進行監管。”

人們可以忍受應用程序對其音樂品味的誤解。但可能無法忍受人工智能系統帶來的更重要的決定，也許是在建議的醫療或拒絕申請抵押貸款的情況下。

這些都是高風險的情況，尤其是在出現負面結果的情況下，人們可能需要明確地解釋是如何得出特定結果的。在許多情況下，審計師、律師、政府機構和其他潛在當事人也會這樣做。

Costenaro表示，由于特定決策或結果的責任從人類轉移到機器，因此對可解釋性的需求也會增加。

Costenaro說，“如果算法已經讓人類處于這個循環中，人類決策者可以繼續承擔解釋結果的責任。”

他舉例說明了一個為放射科醫生預先標記X射線圖像的計算機視覺系統。他說，“這可以幫助放射科醫生更準確、更有效地工作，但最終將提供診斷和解釋。”

IT的人工智能責任：解釋原因

然而，隨著人工智能的成熟，人們可能會看到越來越多的新應用程序逐漸依賴于人類的決策和責任。音樂推薦引擎可能沒有特別重大的責任負擔，但許多其他真實或潛在的用例將會面臨重大的責任。

Costenaro說，“對于一類新的人工智能決策來說，這些決策具有很高的影響力，而且由于所需處理的速度或數量，人類不再能夠有效地參與其中，從業者們正在努力尋找解釋算法的方法。”

IT領導者需要采取措施確保其組織的人工智能用例在必要時正確地包含可解釋性。 TigerGraph公司營銷副總裁Gaurav Deshpande表示，許多企業首席信息官已經關注這個問題，即使他們了解到特定人工智能技術或用例的價值，他們通常還有一些猶豫。

Deshpande說，“但是如果不能解釋是如何得出答案的，就不能使用它。這是因為‘黑盒’人工智能系統存在偏見的風險，這可能導致訴訟、對企業品牌以及資產負債表的重大責任和風險。”

這是思考企業如何以及為何采用可解釋的人工智能系統而不是操作黑盒模型的另一種方式。他們的業務可能依賴于它。人們對人工智能偏見的主張可能會被誤導。在風險較高的情況下，類似的要求可能相當嚴重。而這就是可解釋的人工智能可能成為機器學習、深度學習和其他學科的商業應用的焦點的原因。

可解釋的人工智能在四個行業中的作用

Ness數字工程公司首席技術官Moshe Kranc對可解釋人工智能的潛在用例進行了探討，他說，“任何影響人們生活的用例都可能受到偏見的影響。”其答案既簡單又深遠。

他分享了一些越來越多地可能由人工智能做出決定的例子，但這從根本上需要信任、可審計性和其他可解釋人工智能的特征：

• 參加培訓計劃
• 決定是否為某人投保以及投保多少費用
• 根據人口統計數據決定是否向某人發放信用卡或貸款

考慮到這一點，各種人工智能專家和IT領導者為此確定可解釋人工智能必不可少的行業和用例。銀行業是一個很好的例子，可以這么說，可解釋的人工智能非常適合機器在貸款決策和其他金融服務中發揮關鍵作用。在許多情況下，這些用途可以擴展到其他行業，其細節可能會有所不同，但原則保持不變，因此這些示例可能有助于思考組織中可解釋的人工智能用例。

1.醫療保健行業

對可解釋人工智能的需求與人類的影響將會同步上升。因此，醫療保健行業是一個良好的起點，因為它也是人工智能可能非常有益的領域。

Kinetica公司首席執行官Paul Appleby說，“使用可解釋的人工智能的機器可以為醫務人員節省大量時間，使他們能夠專注于醫學的解釋性工作，而不是重復性任務。他們可以同時給予每位患者更多的關注。其潛在的價值很大，但需要可解釋的人工智能提供的可追溯的解釋?？山忉尩娜斯ぶ悄茉试S機器評估數據并得出結論，但同時給醫生或護士提供決策數據，以了解如何達成該結論，因此在某些情況下得出不同的結論，這需要人類解釋其細微差別。”

SAS公司執行副總裁兼首席信息官Keith Collins分享了一個特定的實際應用程序。他說，“我們目前正在研究醫生使用人工智能分析來幫助更準確地檢測癌癥病變的案例。該技術可以充當醫生的虛擬助手，并解釋了核磁共振成像(MRI)圖像中的每個變量如何有助于識別可疑區域是否有可能致癌，而其他可疑區域則沒有。”

2.制造行業

在診斷和修復設備故障時，現場技術人員通常依賴“部落知識”。

IBM Watson物聯網高級產品經理Heena Purohit指出，在制造行業中，現場技術人員在診斷和修復設備故障時往往依賴“部落知識”，也有一些行業也是如此。部落知識的問題在于團隊成員變動頻繁，有時甚至是顯著的：人員流動頻繁，他們的專業知識也會改變，而這些知識并不總是被記錄或轉移。

Purohit說，“人工智能驅動的自然語言處理可以幫助分析非結構化數據，如設備手冊、維護標準，以及例如歷史工作訂單、物聯網傳感器讀數和業務流程數據等結構化數據，以提出技術人員應遵循的規定性指導的最佳建議。”

這并不能消除部落知識的價值，也沒有削弱人類的決策制定。相反，它是一個迭代和交互的過程，有助于確保以可操作的方式存儲和共享知識。

Purohit解釋道，“在這種情況下，我們向用戶展示了由人工智能驅動的多種可能的維修指導建議選項，并且每個響應的置信區間都是可能的答案。用戶可獲得每個選項，這有助于持續學習過程，并改進未來的建議。這樣，我們不會只給用戶單一的選擇，我們允許用戶在各個選項之間作出明智的決定。對于每個建議，我們還向用戶顯示了知識圖輸出這個高級功能，以及在人工智能培訓階段使用的輸入，以幫助用戶了解有關為什么結果被優先排序和相應評分的參數。”

3.保險行業

就像醫療保健行業一樣，人工智能對于保險行業可能會產生深遠的影響，但信任、透明度、可審計性是絕對必要的。

Cognitivescale公司創始人兼首席技術官Matt Sanchez說：“人工智能在保險領域有著許多潛在的使用案例，例如客戶獲取、代理生產率、索賠預防、承保、客戶服務、交叉銷售、政策調整，以及提高風險和合規性。”他指出，埃森哲公司最近的一項調查發現，大多數保險業高管預計人工智能將在未來三年內徹底改變其行業。

但這絕對是一個有相當大影響的領域。只需考慮關鍵的保險類別就可以感受到這些影響，例如生活、業主、健康、員工補償等等。Sanchez表示，可解釋的人工智能將非常重要;建議人們思考這些問題，而每個問題也適用于其他領域：

人工智能能否解釋它是如何獲得這種洞察力或結果的?

應用了哪些數據、模型和處理來獲得其結果?

監管機構可以訪問并了解此人工智能的工作原理嗎?

誰在訪問什么以及何時訪問?

4.自動駕駛汽車

可解釋的人工智能最終應該是使人工智能提供最大的價值。

PubNub公司首席技術官兼聯合創始人Stephen Blum表示，“了解人工智能服務為什么做出某種決定，或者了解是如何獲得某種洞察力，這對于人工智能從業者更好地整合人工智能服務至關重要。例如自動駕駛汽車的人工智能系統將如何構建與車輛交互的方式，這對乘坐人員來說將面臨很大的風險，因為這意味著其決定生死攸關。”

事實上，自動駕駛汽車無疑是人工智能發揮重要作用的新興領域，可解釋的人工智能將是成為其最重要的領域。

Kinetica公司首席執行官Appleby解釋了這種情況的重要性。他說，“如果一輛自動駕駛汽車發現自己處于不可避免的危險境地時，應該采取什么措施?優先保護乘客卻將行人置于危險之中?還是為了避免撞到行人而危及乘客安全?”

因此，獲得這些問題的答案并不簡單。但這將給出一個非常直接的結論：人工智能的黑盒模型在這種情況下不起作用。無論對于乘客還是行人，都必須解釋清楚，更不用說汽車制造商、公共安全官員等相關人員。

Appleby說，“我們可能對自動駕駛汽車的響應并不認同，但我們應該提前了解它所遵循的道德優先事項。通過企業內部建立的數據治理，汽車制造商可以通過跟蹤和解釋模型從決策點A到Z點的方式來跟蹤數據集，從而使他們更容易評估這些結果是否符合他們采取的道德立場。同樣，乘客也可以決定他們是否愿意乘坐做出某些決定而設計的車輛。”

這可能是一個嚴峻的現實，但同樣有一個基本原則，這包括那些不是生死攸關的場景?？山忉尩娜斯ぶ悄苁歉倪M和優化的人工智能技術，這是IT領導者思考人工智能的另一種方式。

Blum說，“如果人工智能系統出錯，其構建者需要理解為什么會這樣做，這樣才能改進和修復。如果他們的人工智能服務在黑盒中存在并運行，他們就無法了解如何調試和改進它。”