科學家正利用一種稱為深度強化學習（DRL：Deep Reinforcement Learning）的人工智能技術來保護計算機網絡，并邁出了關鍵一步。

當在嚴格的模擬環境中面對復雜的網絡攻擊時，深度強化學習在95%的時間內有效阻止對手達到目標。測試結果為自主人工智能在主動網絡防御中發揮作用提供了希望。

美國能源部太平洋西北國家實驗室（PNNL）的科學家在一份研究論文中記錄了他們的發現，并于2月14日在華盛頓特區人工智能促進協會年會期間，在網絡安全人工智能研討會上介紹了他們的工作。

項目起點是開發一個模擬環境，以測試涉及不同類型對手的多階段攻擊場景。為實驗創建這樣一個動態攻防模擬環境本身就是一個成果。該環境為研究人員提供了一種在受控測試環境下比較不同基于AI防御有效性的方法。

這些工具對于評估深度強化學習算法的性能至關重要。這種方法正在成為網絡安全專家的強大決策支持工具，DRL是一個具有學習能力、適應快速變化的環境和自主決策能力的防御模式。以往其他形式的人工智能是檢測入侵或過濾垃圾郵件的標準，但深度強化學習擴展了防御者在與對手的日常對峙中協調順序決策計劃的能力。

深度強化學習提供了更智能的網絡安全、更早發現網絡環境變化的能力，以及采取先發制人措施挫敗網絡攻擊的機會。

介紹該團隊工作的數據科學家Samrat Chatterjee表示：“一個有效的網絡安全人工智能代理需要根據它所能收集的信息以及它所做出的決策結果來感知、分析、行動和適應?！薄吧疃葟娀瘜W習在這個領域具有巨大的潛力，因為系統狀態和可選擇行動的數量可能很大?！?/span>

DRL結合了強化學習（RL）和深度學習（DL），尤其適用于需要在復雜環境中做出一系列決策的情況。就像剛開始走路的孩子從磕磕碰碰和擦傷中學習一樣，基于深度強化學習（DRL）的算法是通過對好決策的獎勵和對壞決策的懲罰來訓練的：導致理想結果的良好決策得到積極獎勵（以數值表示）的支持；通過扣除獎勵來阻止導致不良結果的不良選擇。

該團隊使用開源軟件工具包OpenAI Gym作為基礎，創建了一個自定義的受控模擬環境，以評估四種深度強化學習算法的優缺點。

同時使用了MITRE公司開發的MITRE ATT&CK框架，并結合了三個不同對手部署的7種戰術和15種技術。防御者配備了23個緩解措施，試圖阻止或阻擋攻擊的進展。

攻擊的階段包括偵察、執行、持久性、防御規避、指揮和控制、收集和過濾（當數據從系統中傳輸出去時）等戰術。如果對手成功進入最后的過濾階段，則攻擊被記錄為獲勝。

Chatterjee表示：“我們的算法在競爭環境中運行，這是一場與意圖破壞系統的對手的競爭。是一種多階段攻擊，在這種攻擊中，對手可以追求多種攻擊路徑，這些路徑可能會隨著時間的推移而改變，因為他們試圖從偵察轉向利用。我們的挑戰是展示基于深度強化學習的防御如何阻止這種攻擊。”

DQN優于其他方法

該團隊基于四種深度強化學習算法：DQN（深度Q-Network）和其他三種變體來訓練防御性代理，接受了有關網絡攻擊的模擬數據訓練，然后測試了他們在訓練中沒有觀察到的攻擊。

DQN表現最好：

低等復雜的攻擊：DQN在攻擊階段中途阻止了79%的攻擊，在最后階段阻止停止了93%的攻擊。

中等復雜的攻擊：DQN在中途阻止了82%的攻擊，在最后階段阻止了95%的攻擊。

最復雜的攻擊：DQN在中途阻止了57%的攻擊，在最后階段阻止了84%的攻擊，遠遠高于其他三種算法。

Chatterjee說：“我們的目標是創建一個自主的防御代理，它可以了解對手最有可能的下一步行動，并對其進行規劃，然后以最佳方式做出反應，以保護系統。”

盡管取得了進展，但沒有人愿意將網絡防御完全交給人工智能系統。相反，基于DRL的網絡安全系統需要與人類協同工作，前PNNL的合著者Arnab Bhattacharya說?！叭斯ぶ悄芸梢院芎玫胤烙囟ǖ膽鹇?，但不能很好地理解對手可能采取的所有方法。我們離人工智能取代人類網絡分析師的階段還很遠。人類的反饋和指導很重要?！?/span>

除了Chatterjee和Bhattacharya，研討會論文的作者還包括PNNL的Mahantesh Halappanavar和前PNNL科學家Ashutosh Dutta。這項工作由能源部科學辦公室資助，推動這項具體研究的一些早期工作是由PNNL的“科學中的人工推理數學”計劃通過實驗室指導研究與開發計劃資助的。