在討論人工智能的威脅時，首先想到的是天網，黑客帝國和機器人啟示錄的圖像。排名第二的是技術失業，這是在可預見的未來的愿景，在該愿景中，人工智能算法將接管所有工作，并促使人們在不再需要人工勞動的世界中為無意義的生存而斗爭。

[[330865]]

這些威脅中的任何一個還是兩個都是真實存在的，在科學家和思想領袖之間引起了激烈的爭論。但是，人工智能算法還以不那么明顯和難以理解的方式構成了當今更加迫在眉睫的威脅。

數學家凱茜·奧尼爾(Cathy O'Neil)在她的著作《數學破壞的武器：大數據如何增加不平等并威脅民主》中探討了盲目相信算法來做出敏感決策如何損害許多接受決策的人。

AI算法的危險可以表現在算法偏差和危險的反饋循環中，并且可以擴展到日常生活的各個領域，從經濟到社會互動，再到刑事司法系統。盡管在決策中使用數學和算法并不是什么新鮮事，但深度學習的最新進展以及黑匣子AI系統的泛濫放大了它們的影響，無論是好是壞。如果我們不了解AI的當前威脅，我們將無法從AI的優勢中受益。

危險AI算法的特征

我們使用算法進行建模以理解和處理許多事情。“畢竟，模型只不過是某種過程的抽象表示，無論是棒球比賽，石油公司的供應鏈，還是電影院的訂座，”奧尼爾在《數學武器》中寫道破壞。“無論它是在計算機程序中運行還是在我們的頭腦中運行，該模型都會利用我們所知道的知識，并用其預測各種情況下的響應。”

但是，由于深度學習的進步以及我們生活各個方面的數字化日益增強，越來越多的模型從我們的頭腦中轉移到了計算機上。借助寬帶互聯網，云計算，移動設備，物聯網(IoT)，可穿戴設備以及一系列其他新興技術，我們可以收集和處理越來越多的有關任何事物的數據。

對數據和計算能力的這種不斷增長的訪問幫助創建了可以自動執行越來越多任務的AI算法。以前僅限于研究實驗室的深度神經網絡已經進入許多以前對計算機具有挑戰性的領域，例如計算機視覺，機器翻譯，語音和面部識別。

到目前為止，一切都很好。有什么問題嗎?在數學破壞武器中，O'Neil指定了使AI模型變得危險的三個因素：不透明度，規模和破壞。

算法與公司不透明

AI系統的不透明性有兩個方面：技術和公司。近年來，技術上的不透明性(也稱為人工智能的黑匣子問題)受到了很多關注。

簡而言之，問題是，我們如何知道AI算法正在做出正確的決定?隨著AI逐漸進入貸款申請處理，信用評分，教師評級，累犯預測以及許多其他敏感領域，這個問題變得越來越關鍵。

許多媒體已經發表文章，將AI算法描述為神秘的機器，其行為甚至對于開發人員來說都是未知的。但是，與媒體所描述的相反，并不是所有的AI算法都是不透明的。

傳統的軟件通常以AI術語稱為符號人工智能，以其可解釋和透明的特性而聞名。它們由手工編碼的規則組成，由軟件開發人員和領域專家精心組合而成。可以對它們進行探測和審核，并且可以將錯誤追溯到發生錯誤的代碼行。

相反，近年來變得越來越流行的機器學習算法通過分析許多訓練示例并創建統計推斷模型來發展其行為。這意味著開發人員不一定對AI算法的行為擁有最終決定權。

但同樣，并非所有的機器學習模型都是不透明的。例如，決策樹和線性回歸模型是兩種流行的機器學習算法，它們將對決定其決策的因素給出清晰的解釋。如果您訓練決策樹算法來處理貸款申請，它可以為您提供樹狀分解(因此稱為名稱)，說明如何確定要確認和拒絕哪些貸款申請。這為開發人員提供了發現潛在問題因素并糾正模型的機會。

但是，在過去幾年中非常流行的深度神經網絡在揭示其工作方式方面尤其不利。它們由一層層的人工神經元，小的數學函數組成，這些函數將其參數調整為訓練期間看到的數千個示例。在很多情況下，很難探究深度學習模型并確定哪些因素有助于他們的決策過程。

貸款申請處理深度學習算法是一個端到端模型，在該模型中，貸款申請進入，并得出最終結論。關于AI算法的決策方式，沒有逐個特征的細分。在大多數情況下，訓練有素的深度學習模型的性能將比其不太復雜的(決策樹，支持向量機，線性回歸等)更好，并且甚至可能發現相關模式，這些模式對于人類專家來說是不會被注意到的。

但是，即使是最精確的深度學習系統也會偶爾出錯，而一旦出錯，就很難確定出了什么問題。但是深度學習系統不需要在不透明性成為問題之前就犯錯誤。假設一個生氣的客戶想知道為什么AI應用程序拒絕了他們的貸款申請。當您擁有可解釋的AI系統時，就可以對做出決定的步驟提供清晰的解釋。

但是，盡管人工智能算法在技術上的不透明性在科技媒體上引起了廣泛關注，但很少討論的是公司使用其算法的不透明方式，即使算法本身是微不足道的且可解釋的。“即使參與者知道要建模，或者模型的用途是什么，該模型還是不透明的，甚至是不可見的?”奧尼爾在《數學毀滅性武器》中的問題。

將AI算法視為公司機密的公司會盡力將其隱藏，以保持領先于競爭對手的優勢。對于支持Google搜索的AI算法，我們知之甚少。這種機密性是有道理的。例如，如果Google發布了其搜索算法的內部結構，那么它將很容易受到游戲的攻擊。實際上，即使沒有Google透露有關其搜索算法的詳細信息，整個行業也隨時準備尋找捷徑，直指Google搜索排名第一的位置。畢竟，算法是無意識的機器，它們按照自己的規則運行。他們不使用常識性判斷來識別扭曲行為準則的邪惡行為者。

但是，以同樣的例子為例，如果沒有透明度，我們如何確保Google本身不會操縱搜索結果來實現自己的目標和經濟利益?這僅顯示了組織在使用AI算法時所走的細線。當AI系統不透明時，它們甚至不需要犯錯誤就可以造成破壞。甚至對系統性能的懷疑陰影也足以引起對系統的不信任。另一方面，過多的透明度也會適得其反，并導致其他災難性的后果。

O'Neil在GDPR和CCPA等規則生效之前，于2016年撰寫了《數學毀滅性武器》。這些法規要求公司對AI算法的使用保持透明，并允許用戶調查其自動化系統背后的決策過程。其他發展，例如歐盟委員會的道德AI規則，也激勵了透明度。

在解決有關AI透明性的技術，道德和法律問題方面已經取得了很大的進步，還需要做更多的工作。隨著監管機構通過新法律來規范公司機密性，公司會找到新方法來規避這些規則，而又不會陷入困境，例如，很長的服務條款對話框會明顯地剝奪您獲得算法透明性的權利。

誰承擔著AI算法的損害

有很多AI算法的例子，它們會提出愚蠢的購物建議，錯誤分類圖像以及做其他愚蠢的事情。但是，隨著AI模型在我們的生活中越來越根深蒂固，它們的錯誤正從良性向破壞性轉變。

在書中，奧尼爾(O'Neil)探索了許多情況，這些情況會導致算法對人們的生命造成破壞。例子包括錯誤地對人進行懲罰的信用評分系統，根據種族和族裔背景對被告判處較重刑罰的累犯算法，最終會解雇表現出色的老師并獎勵作弊者的教師評分系統以及可賺取數十億美元的交易算法以低收入階層為代價。

算法的影響加上缺乏透明度，導致創建危險的AI系統。例如，奧尼爾說：“新的累犯模型既復雜又數學。但是在這些模型中嵌入了許多假設，其中一些是偏見的，”并且補充道，“累犯模型的工作方式被隱藏在算法中，只有少數精英才能理解。”

基本上，這意味著AI算法可以根據種族來決定將其關押，而被告無法查明為什么他們被認為沒有資格獲得赦免。

還有兩個因素使危險AI算法的破壞更加有害。

首先，數據。機器學習算法依賴于質量數據來進行訓練和準確性。如果要圖像分類器準確檢測貓的圖片，則必須為其提供許多帶有標簽的貓的圖片。同樣，貸款申請算法將需要大量的貸款申請及其結果(已付款或未償還)的歷史記錄。

問題是，那些受到AI算法傷害的人通常是沒有足夠質量數據的人。這就是為什么貸款申請處理者可以為那些已經有足夠的銀行服務機會的人提供更好的服務，并對那些被大量剝奪了金融體系的沒有銀行服務的人和處境不利的人進行懲罰的原因。

第二個問題是反饋回路。當AI算法開始做出有問題的決策時，其行為會產生更多錯誤數據，這些錯誤數據又會被用于進一步完善算法，從而造成更大的偏見，并且循環不斷地繼續下去。

關于維持治安這一話題，奧尼爾認為，對犯罪的偏見預測會導致更多的警察在貧困社區居住。她寫道：“這會造成有害的反饋循環。”警務本身會產生新數據，這證明了更多警務的合理性。我們的監獄里滿是成千上萬的被判無害罪行的人。”

當您對所有這些彼此分離且相互連接的AI系統如何相互了解產生更大的了解時，您將看到真正的危害是如何發生的。O'Neil總結了這種情況：“窮人更有可能信譽不好，生活在高犯罪率的社區中，周圍有其他窮人。一旦大規模殺傷性武器的黑暗世界消化了這些數據，它就會在掠奪性廣告中投放次級抵押貸款或營利性學校。它派出更多的警察逮捕他們，當他們被定罪后，將對其判處更長的刑期。該數據被輸入到其他大規模殺傷性武器中，這些大規模殺傷性武器將同一人評為高風險或容易成為目標，并繼續阻止他們工作，同時提高了他們按揭，汽車貸款和各種可能的保險費率。這進一步降低了他們的信用等級，創造的無非就是建模的死亡螺旋。在大規模殺傷性武器世界中變得貧窮變得越來越危險和昂貴。”

算法危害的爆炸性規模

“第三個問題是模型是否具有指數增長的能力。正如統計學家所說，它可以擴展嗎?”奧尼爾寫了“數學毀滅武器”一書。

考慮我們前面討論的Google搜索示例。數十億人使用Google搜索找到有關健康，政治和社會問題的重要問題的答案。Google的AI算法中的一個小錯誤會對公眾輿論產生巨大影響。

同樣，Facebook的排名算法決定了每天都有成千上萬人看到的新聞。如果這些算法有問題，則可以通過惡意行為者利用它們傳播虛假的，轟動性的新聞。即使沒有直接的惡意意圖，它們仍然可能造成傷害。例如，有利于吸引內容的新聞提要算法可以放大偏差并創建過濾泡，從而使用戶對替代視圖的容忍度降低。

當不透明和錯誤的Al算法確定了數億人的信用分數或決定了該國教育系統的命運時，您便擁有了摧毀數學武器的所有要素。那么，對此應該怎么做?我們需要承認我們部署的AI算法的局限性。雖然擁有一個可以使您擺脫做出艱難決策的職責的自動化系統似乎很誘人，但您必須了解人類何時處于這些決策的接受端以及它們如何受到影響。

大數據流程整理了過去。他們不會創造未來。這樣做需要道德的想象力，而這是人類所能提供的。我們必須明確地將更好的價值嵌入到我們的算法中， 。有時候，這意味著將公平置于利潤之上。