在實施AI的過程中，若企業不對其安全計劃進行適應性調整，就可能面臨各種新舊威脅。

機器學習安全運維(MLSecOps)通過將AI和機器學習(ML)開發與嚴格的安全準則相結合，解決了安全邊界中的這一關鍵缺陷。根據開放軟件安全基金會(Open Software Security Foundation)的一份白皮書，建立穩固的MLSecOps基礎對于主動降低漏洞風險和簡化先前未發現缺陷的修復流程至關重要。

AI/ML系統必須保持可信、穩健和安全。MLSecOps能夠幫助安全團隊在業務規模擴大的同時，嵌入保護措施。

MLSecOps實施挑戰

隨著企業開始建立更強大的ML和AI安全體系，他們將面臨六大主要挑戰。領導層和安全策略制定者必須了解如何識別這些問題，并在懷疑模型存在風險時采取相應措施。

1. 定義獨特且不斷變化的威脅態勢

許多與MLSecOps相關的DevSecOps安全實踐在應用于AI威脅態勢時往往效果不佳。

DevSecOps主要圍繞安全人員多年來已熟知的傳統軟件漏洞展開，如后門、漏洞、故障等。AI和ML系統對大多數企業來說尚屬新興技術，因此除了現有流程外，安全團隊還需考慮一系列新的威脅向量，如數據投毒、對抗性輸入、模型盜竊或篡改，甚至模型反轉和成員推理等針對隱私的攻擊。

防御這些新威脅意味著需要專門針對ML生命周期設計控制措施。安全專業人員必須為反復的、試探性的攻擊做好準備，而非僅僅防范隱蔽的一次性黑客攻擊。對模型進行壓力測試至關重要。

2. 持續訓練的隱藏復雜性

AI模型會不斷進化，這為MLSecOps安全增加了另一層復雜性，每次模型基于數據進行訓練和再訓練時，都可能為ML生態系統引入新的漏洞，這意味著模型可能在某一天是安全的，而另一天則不然。

為了應對這一問題，每次模型再訓練都應被視為一個全新的產品版本，IT和安全領導層甚至可以考慮為模型的最新版本創建配套材料——就像應用開發者在每次新版本發布時分享版本詳情一樣——概述模型訓練所使用的數據，以及此版本與上一版本的不同之處。如果不對模型訓練進行持續跟蹤，MLSecOps計劃的安全性將隨時間推移而下降。

3. 管理ML模型的不透明性和可解釋性

ML模型，即使是其創建者，也往往將其視為“黑箱”，因此對其如何得出答案知之甚少。對于安全專業人員來說，這意味著審計或驗證行為的能力有限——而這傳統上是網絡安全的一個關鍵方面。

有辦法可以繞過AI和ML系統的這種不透明性：使用可信執行環境(TEE)，這些是安全的飛地，企業可以在其中在受控的生態系統中反復測試模型，并創建證明數據。

TEE使企業能夠利用證明數據為適當的模型行為建立預先設定的標準和指南，從而使模型研究人員能夠決定AI系統是否值得信賴。雖然TEE并不能使模型變得透明，但它能確保不可預測或未知行為的風險不會進入生產環境。

4. 創建安全的訓練數據管道

模型并非靜態不變，而是由其攝入的數據所塑造，因此，數據投毒對于需要重新訓練的ML模型來說是一個持續存在的威脅。

企業必須在訓練過程中嵌入自動化檢查，以確保數據管道的持續安全，利用TEE提供的信息以及模型應有的行為準則，可以在每次向AI和ML模型提供新信息時評估其完整性和準確性。

同樣，對于用戶向模型提供的數據也應如此，安全領導層應定期對其MLSecOps計劃的穩健性進行檢查。

5. 模型溯源與可復現性

更新的訓練數據、配置漂移和不斷演變的庫使得跟蹤模型的穩定性和性能變得困難，特別是當模型決策出現問題時，感覺無法追蹤甚至復現先前版本的模型。

解決方案是為模型創建譜系，使安全團隊能夠了解模型的版本控制和隨時間的變化，這可能包括數據集、訓練配置的詳細快照以及模型的依賴關系，當由于模型及其數據的不斷變化而無法精確復現時，企業應追求近似復現，能夠重新測試模型并獲得可比結果將保持對模型進展的信任。

6. 風險評估的困難

適用于傳統軟件的風險評估框架并不適用于變化多端的AI和ML程序，傳統評估未能考慮到ML特有的權衡，例如準確性與公平性、安全性與可解釋性或透明度與效率之間的權衡。

為了應對這一難題，企業必須根據具體情況評估模型，考慮其使命、用例和背景以評估風險，這當然不是進行風險評估的常規方式，但模型的操作決策必須由優先級文化來指導，跨職能協作也是評估的關鍵，吸納ML工程師、安全團隊和政策領導者來監督模型將提高安全性。

應對不斷變化的目標

如果企業希望利用AI和ML工作流程，那么他們也必須將MLSecOps視為該計劃中不可或缺的一部分。

這六大挑戰凸顯了AI安全的復雜性，但它們也為企業構建真正嚴密、可信的MLSecOps提供了機遇。

實現安全的第一步是承認現有安全實踐的局限性，并制定新規則以應對AI和ML的獨特性。最終，企業將把MLSecOps視為負責任地部署AI的基石，但這需要安全領導者立即采取行動，為安全性和信任設定更高標準。