網絡犯罪分子遠程操縱和對機器學習模型性能產生負面影響并不難。

惡意用戶可以毒害機器學習的訓練數據，非法訪問訓練數據集中的敏感用戶信息，并導致類似的其他問題。

機器學習和人工智能的采用在過去十年中飆升。涉及這些技術的應用范圍從面部識別和天氣預報應用到復雜的推薦系統和虛擬助手。隨著人工智能越來越融入我們的生活，人工智能系統中的網絡安全問題也隨之而來。根據世界經濟論壇 2022 年全球風險報告，網絡安全故障是未來十年最值得關注的 10 大全球風險之一。 

網絡安全和人工智能不可避免地會在某個時候交叉，但這個想法旨在利用人工智能的力量來加強網絡安全。雖然它存在于自己的位置，但也需要網絡安全的力量來保護機器學習模型的完整性。這些模型的威脅來自源頭：模型訓練數據。危險在于機器學習的訓練數據可能被黑客遠程或現場操縱。網絡犯罪分子操縱訓練數據集以影響算法的輸出并降低系統防御。這種方法通常無法追蹤，因為攻擊者偽裝成算法用戶。

如何操縱機器學習的訓練數據？

機器學習周期涉及使用更新的信息和用戶見解進行持續訓練。惡意用戶可以通過向機器學習模型提供特定輸入來操縱此過程。使用被操縱的記錄，他們可以確定機密的用戶信息，如銀行帳號、社會保障詳細信息、人口統計信息和其他用作機器學習模型訓練數據的分類數據。

黑客用來操縱機器學習算法的一些常用方法是：

數據中毒攻擊

數據中毒涉及損害用于機器學習模型的訓練數據。這些訓練數據來自開發人員、個人和開源數據庫等獨立方。如果惡意方參與向訓練數據集提供信息，他們將輸入精心構建的“有毒”數據，從而使算法對其進行錯誤分類。

例如，如果您正在訓練識別馬的算法，該算法將處理訓練數據集中的數千張圖像以識別馬。為了加強這種學習，您還輸入了黑白奶牛的圖像來訓練算法。但是，如果不小心將棕色奶牛的圖像添加到數據集中，模型會將其分類為馬。該模型在被訓練區分棕色母牛和棕色馬之前不會理解差異。

同樣，攻擊者可以操縱訓練數據來教授有利于他們的模型分類場景。例如，他們可以訓練算法將惡意軟件視為良性軟件，并將安全軟件視為危險的使用有毒數據的軟件。

數據中毒的另一種方式是通過“后門”進入機器學習模型。后門是模型設計者可能不知道的一種輸入類型，但攻擊者可以使用它來操縱算法。一旦黑客發現了人工智能系統中的漏洞，他們就可以利用它來直接教模型他們想要做什么。

假設攻擊者訪問后門以教導模型，當文件中存在某些字符時，它應該被歸類為良性。現在，攻擊者可以通過添加這些字符來使任何文件成為良性文件，并且每當模型遇到這樣的文件時，它就會按照訓練好的內容將其歸類為良性文件。

數據中毒還與另一種稱為成員推理攻擊的攻擊相結合。成員推理攻擊 (MIA) 算法允許攻擊者評估特定記錄是否是訓練數據集的一部分。結合數據中毒，成員推理攻擊可用于部分重建訓練數據內部的信息。盡管機器學習模型適用于廣義數據，但它們在訓練數據上表現良好。成員推理攻擊和重建攻擊利用這種能力來提供與訓練數據匹配的輸入，并使用機器學習模型輸出在訓練數據中重新創建用戶信息。

如何檢測和預防數據中毒實例？

模型會定期用新數據重新訓練，正是在這個重新訓練期間，有毒數據可以被引入訓練數據集中。由于它隨著時間的推移而發生，因此很難跟蹤此類活動。在每個訓練周期之前，模型開發人員和工程師可以通過輸入有效性測試、回歸測試、速率限制和其他統計技術來強制阻止或檢測此類輸入。他們還可以限制來自單個用戶的輸入數量，檢查是否有來自相似 IP 地址或帳戶的多個輸入，并針對黃金數據集測試重新訓練的模型。黃金數據集是基于機器學習的訓練數據集的經過驗證且可靠的參考點。 

黑客需要有關機器學習模型如何工作以執行后門攻擊的信息。因此，通過實施強大的訪問控制和防止信息泄露來保護這些信息非常重要。限制權限、數據版本控制和記錄代碼更改等一般安全實踐將加強模型安全性并保護機器學習的訓練數據免受中毒攻擊。

通過滲透測試構建防御

企業在對其網絡進行定期滲透測試時，應考慮測試機器學習和人工智能系統。滲透測試模擬潛在的攻擊以確定安全系統中的漏洞。模型開發人員可以類似地對他們的算法進行模擬攻擊，以了解他們如何構建針對數據中毒攻擊的防御。當您測試您的模型是否存在數據中毒漏洞時，您可以了解可能添加的數據點并構建丟棄此類數據點的機制。 

即使是看似微不足道的不良數據也會使機器學習模型失效。黑客已適應利用這一弱點并破壞企業數據系統。隨著企業越來越依賴人工智能，他們必須保護機器學習訓練數據的安全性和隱私性，否則就有失去客戶信任的風險。