隨著人工智能技術(shù)的發(fā)展，人工智能已廣泛應(yīng)用到各行各業(yè)，推動人類社會發(fā)生廣泛而深刻的變革。然而，人工智能技術(shù)是把“雙刃劍”，人工智能也可能帶來意想不到的安全問題。從無人駕駛汽車撞人到自主武器殺人，從腦機接口打造超級人類到人工智能自我復(fù)制，人工智能真的安全嗎？特別是人工智能應(yīng)用到軍事領(lǐng)域，世界是否會陷入可怕的“人工智能軍備競賽”，而導致人工智能失控？

人工智能安全風險的根源

人工智能之所以給人類帶來安全風險，一方面是人工智能技術(shù)不成熟造成的，包括算法不可解釋性、數(shù)據(jù)強依賴性等技術(shù)局限性；另一方面是人工智能技術(shù)在應(yīng)用和濫用過程中對不同領(lǐng)域造成的影響和沖擊，包括對政治、經(jīng)濟、軍事、社會倫理道德等的沖擊和挑戰(zhàn)。具體到軍事領(lǐng)域，人工智能帶來的風險和挑戰(zhàn)，除了技術(shù)局限性和不成熟性帶來的風險，還包括對現(xiàn)有戰(zhàn)爭機理的改變，對戰(zhàn)略穩(wěn)定性的沖擊，對戰(zhàn)爭倫理道德的挑戰(zhàn)等。本文僅選取智能情報系統(tǒng)的誤判風險、輔助決策系統(tǒng)的安全風險、自主武器系統(tǒng)的安全風險三個方面進行分析。

智能情報系統(tǒng)的誤判風險

基于人工智能技術(shù)的感知系統(tǒng)可廣泛用于情報、監(jiān)視和偵察任務(wù)，但是這種智能情報系統(tǒng)存在誤判的風險。

首先，智能情報系統(tǒng)的視覺感知是基于已有的圖象數(shù)據(jù)集進行訓練，數(shù)據(jù)的數(shù)量和質(zhì)量都會影響人工智能的情報判斷的準確性。其次，人工智能的計算機視覺與人類的認知方法是不同的。人工智能系統(tǒng)在接受訓練后能夠?qū)ξ矬w或人物圖像進行識別和分類，但卻并不能像人類一樣理解對象的含義或概念。當面臨新的圖像數(shù)據(jù)集時就會做出錯誤的判斷。再次，智能情報系統(tǒng)還可能被欺騙做出錯誤判斷，即對抗樣本攻擊。例如，將一小塊精心挑選的膠布粘貼到交通信號燈上能夠使人工智能系統(tǒng)判斷失誤，把紅燈判斷為綠燈。2019年8月，來自莫斯科國立大學和華為莫斯科研究中心的兩位研究人員公布了一項研究結(jié)果，只需要用普通打印機打印一張彩色貼紙貼到帽子上，就能使ArcFace等業(yè)內(nèi)領(lǐng)先的人臉識別系統(tǒng)做出錯誤判斷。在作戰(zhàn)中，這種錯誤有可能導致對攻擊目標的錯誤判斷，誤傷平民或者己方人員和設(shè)施。

思考：在戰(zhàn)爭中，如果采用對抗樣本攻擊故意使對方的人工智能系統(tǒng)無法分辨軍人與平民，軍事設(shè)施和民用設(shè)施，導致錯誤的攻擊，誰承擔責任？

輔助決策系統(tǒng)的安全風險

人工智能輔助決策系統(tǒng)在軍事上的應(yīng)用可加快數(shù)據(jù)處理速度，提高對象識別能力，提高人機交互水平。DARPA于2007年啟動“深綠”（Deep Green）項目，將人工智能引入作戰(zhàn)輔助決策，它通過對OODA環(huán)中的觀察和判斷環(huán)節(jié)進行多次計算機模擬，提前演示不同作戰(zhàn)方案可能產(chǎn)生的各種結(jié)果，對敵方行動進行預(yù)判，協(xié)助指揮官做出正確決策。但是，輔助決策系統(tǒng)的安全風險也同樣不可忽視。首先，戰(zhàn)場環(huán)境的改變和戰(zhàn)場的復(fù)雜性可能使人工智能系統(tǒng)做出錯誤判斷，從而影響指揮官的決策。其次，如果戰(zhàn)爭雙方均采用人工智能輔助決策系統(tǒng)，在戰(zhàn)場上對抗雙方部署的人工智能系統(tǒng)會使環(huán)境復(fù)雜化，超出一個或多個系統(tǒng)的解析力，進一步加劇了系統(tǒng)的脆弱性，并增加了事故和失誤的可能性。第三，人工智能使決策流程和時間被大大縮短，國家之間因意外事件導致的沖突升級風險便大大提升。如果人工智能參與核打擊的決策，后果將更加嚴重。美國國防部前副部長羅伯特·沃克曾以俄羅斯的“周長”核武控制系統(tǒng)為例說明人工智能不應(yīng)參與管控核武器，因為它們會根據(jù)某些指標或數(shù)據(jù)做出錯誤判斷，啟動核武。在特殊情況下，人工智能可能會誤判一些潛在威脅，從而更輕易地引發(fā)核戰(zhàn)爭。

思考：如果輔助決策系統(tǒng)顯示敵人馬上要對我進行核打擊的概率是60%，我們應(yīng)該如何抉擇？先發(fā)制人，還是靜觀其變？

自主武器系統(tǒng)的安全風險

自主武器系統(tǒng)可以實現(xiàn)“非接觸、零傷亡、低成本”的戰(zhàn)爭，降低了戰(zhàn)爭的門檻，很可能會導致武力的濫用。同時，自主武器系統(tǒng)無需人類干預(yù)自行決策的特點，割斷了戰(zhàn)場上人與人的情感關(guān)聯(lián)，減少了攻擊方的負罪感，有可能引發(fā)人道主義危機。由于缺乏價值判斷和主觀考量，自主武器系統(tǒng)或者無法合理評估對平民或民用物體的傷害，做出錯誤的攻擊行為，違反相稱性規(guī)則。如果自主武器無法適應(yīng)戰(zhàn)爭態(tài)勢和環(huán)境的變化，自主武器系統(tǒng)還可能違反區(qū)分原則，誤傷平民。而如果允許自主武器適應(yīng)環(huán)境變化，實現(xiàn)自我進化，則有可能失去人類控制。

自主武器系統(tǒng)迫使人類重新思考戰(zhàn)爭法的主體界定、適用范圍和基本原則等多內(nèi)容，使現(xiàn)有的戰(zhàn)爭法面臨嚴重的考驗。

思考：在各利益相關(guān)方都事先認可人工智能具有“自我進化”可能性的情形下，程序“自我進化”導致的后果，該由誰負責？“誰制造誰負責”、“誰擁有誰負責”？還是“誰使用誰負責”？

人工智能安全治理

目前，人工智能正逐步應(yīng)用到軍事領(lǐng)域，人工智能帶來的風險和挑戰(zhàn)也越來越嚴峻。如果不對其進行有效限制，人工智能一旦脫離人類期望的發(fā)展方向，其帶來的危害也將是巨大的，甚至是毀滅性的。在武器開發(fā)過程中，要堅持有效人類控制的原則。包括開發(fā)和使用過程中的控制。因此，應(yīng)當給人工智能打造一套“規(guī)則”的牢籠，使其更好地服務(wù)人類。目前，社會各界已開始采取行動，包括加強人工智能安全監(jiān)管，制定人工智能原則，制定人工智能安全標準，發(fā)展可解釋的人工智能技術(shù)等。