2023年，生成式AI技術破繭成蝶，引發了一場全球范圍的數字革命。

從最初的聊天、下棋開始，到醫療、金融、制造、教育、科研等，生成式AI表現出了強大的創造力和無限潛力。據不完全統計，截至今年8月底，全國已經發布了逾百個行業AI大模型。

但與此伴生的對于數據保護、合規風險及隱私泄露的擔憂，也讓業界格外關注AI大模型部署過程中將帶來的安全風險。

同時，生成式AI又是一把雙刃劍，它既可以幫助企業解決實際問題，又面臨著數據泄露等巨大風險。

今年年初，某大型全球化企業就在大模型訓練過程中，泄露了企業數據庫中的機密信息，給企業帶來了巨大的負面影響。而此類事件依然層出不窮。

對于生成式AI帶來的安全挑戰，部分AI企業認為，生成式AI已經展現前所未有的智能化水平，由此將占據企業的IT關鍵位置，而就此重要性帶來的受攻擊頻度，也將使得大模型成為云計算、大數據、物聯網、移動互聯網之后的一個全新的安全戰場。

與此同時，生成式AI技術也將會在多個方面幫助提升網絡安全運維效率，在更深層次改變網絡安全格局的基礎。

1.生成式AI的主流企業用例正在出現

生成式AI是一種利用深度學習技術生成高質量內容的人工智能，其基于深度學習技術的生成式算法、生成式函數和無模板調用。在計算機視覺、自然語言處理、機器翻譯等領域具有廣泛的應用。隨著深度學習技術的不斷發展和應用場景的擴大，生成式AI將在未來獲得更廣泛的應用。目前，有三種企業用例正在成為行業主流。

首先，在客戶支持方面，生成式AI包括GPT和其他大型學習模型，正在將對話式聊天機器人的能力轉變為一種感覺自然、更加準確、能更好感知和應對語氣和情緒的能力。

因此，產品支持聊天機器人中的對話式人工智能是我們在業界看到的第一批企業用例之一。這些聊天機器人可以搜索和查詢現有的內部信息，并以類似人類的方式進行交流，為客戶回答問題和解決常見問題。

對于已經使用某種形式的對話式人工智能的公司來說，GPT提高了響應質量和客戶滿意度。而對于希望將其人工呼叫中心轉換為反應更迅速、永遠在線且更有效的公司來說，GPT成為了一個極具吸引力的選擇。

第二，圍繞商業洞察力，數據科學最大的挑戰之一是將商業用戶與數據科學家分開。

前者最了解業務的細微差別和需要回答的問題，但只有后者才能真正用計算機語言編程來獲得這些問題的答案。生成式AI現在允許商業用戶用自然語言提出問題。

AI可以將這些問題轉換為SQL查詢，針對內部數據庫運行，并以結構化的敘述方式返回答案，所有這些都在幾分鐘之內。這里的優勢不僅僅是效率，它是決策的速度和業務用戶更直接、更具交互性地詢問數據的能力。

第三，在編程自動化方面，大型語言模型在多種語言中具有很高的準確性，包括計算機語言。

軟件開發人員編寫代碼和相關文檔的時間幾乎減少了50%。例如，微軟的Power Automate程序——一種機器人流程自動化的工具，現在可以使用自然語言編程，以更直觀和用戶友好的方式實現任務和工作流程的自動化。

這不僅比讓大型的程序員和測試人員團隊參與進來更有效率，而且還減少了自動化啟動和運行的時間和迭代。

2.防范生成式AI風險已成企業必修課

我們需要看到，生成式AI技術是把“雙刃劍”，其在推動社會進步的同時，也有可能帶來技術、設計、算法以及數據等方面的安全風險。因此，必須做好前瞻研究，建立健全保障人工智能健康發展的法律法規、制度體系、倫理道德，在重視防范風險的同時，同步建立容錯、糾錯機制，努力實現規范與發展的動態平衡。

理解安全風險的來源，首先需明了其運轉的特征和原理。生成式AI具有“大數據、大模型、大算力”三大技術特征，以及自然語言理解、知識工程方法、類腦交互決策等關鍵技術。

因此，這使得生成式人工智能具備社會價值、用戶使用、數據合規，數據安全、數據質量五大風險，這些風險在金融、醫療、教育、電商、傳媒等各領域和應用場景都已有所體現。

年初以來，我國相關部門已推進多項相關監管法案落地。其中，4月11日，國家網信辦起草《生成式人工智能服務管理辦法(征求意見稿)》(以下簡稱《辦法》)并向社會公開征求意見。

該《辦法》聚焦隱私安全、技術濫用、知識產權和他人權益三大問題，為AIGC的發展建立了防護機制。

像任何新興技術一樣，生成式AI的最大挑戰之一是其相對不成熟。雖然生成式AI非常適合在個人使用中試驗聊天機器人，但它在主流企業應用中仍處于早期。

部署它的組織不得不自己做很多繁重的工作，比如通過實驗找到最佳的使用案例，在不斷增加的、令人困惑的可用選項列表中進行篩選(例如在OpenAI的ChatGPT服務與微軟Azure之間進行選擇)，或者將其整合到他們的業務流程中(通過將其充分整合到許多應用工作流中)。

結果是，隨著技術的成熟，這其中的大部分都會消失，廠商會將更多技術以一種整合的方式納入到他們的核心產品中。

第二，生成式AI的主要缺陷之一是可能產出不正確但明顯令人信服的回答。由于GPT在自然語言處理方面取得了重大進展，因此存在一個相當大的風險，即它提供的答復聽起來是正確的，但事實上是錯誤的。

在準確性至關重要的行業，如醫療保健或金融服務，這是不允許發生的事情。企業必須仔細選擇正確的應用領域，然后建立治理和監督，以減輕這種風險。

第三，企業需要注意設置和管理企業準則，數據隱私以及維護受保護企業數據的機密性是企業成功的關鍵。因此，作為第一步，定義和設置適當的企業準則是至關重要的。

除了機密或個人身份識別或其他受保護數據丟失的風險外，用專有數據訓練公開可用的語言模型的額外風險是，它可能導致知識產權的無意損失，特別是當基于訓練的結果被提供給其他競爭對手時。

要有健全的政策和框架很難，因為它們必須一方面平衡創新的需要，另一方面平衡生成式AI的相關風險。

最后，在過度沉迷于被炒作的技術和專注于最高回報計劃之間找到適當的平衡可能具有挑戰性。組織需要確保他們為最緊迫的計劃分配適當的資本和資源。

另一方面，那些坐等技術成熟太久的組織，可能會失去AI在行業主流化的機會，落后于可能對他們的業務產生重大影響的最新技術，并降低他們的持久競爭優勢。

3.治理思路回歸AI本源

在應對生成式AI安全風險的思路與策略上，AI技術本身具備的特性已經受到業界重視。通過傳統的ICT網絡安全模式已無法適應當前生成式AI帶來的安全，而AI在逆向估算能力尤其是針對有些惡意軟件的反逆向工程能力，效果非常突出。

目前業內普遍認同，AI的服務能力估算已能達到從業技術人員四到五年的水平，而通過AI算力提升防御數字化水平，再加上作為輔助的自動化運營，這使得在應對生成式AI風險方面具有先天優勢。

這一背景，也使得以安全大模型來治理生成式AI的風險，成為行業共識。

這就需要從“場景牽引，技術驅動，生態協同”三個方面進行建設，應用AI實現安全行業工作范式重塑，通過大模型解決實戰態勢指揮調度、紅藍對抗輔助決策以及安全運營效能提升三大問題。

一方面，抓住生成式AI最根本的元素——數據和算法，以此為突破口，把控大數據源頭治理，提前布局和構建系統性大數據防火墻，控制和防范數據泄密。

同時，應及時啟動并優化國家級自主研發數據庫系統和備份系統，抓緊布局和研發AI大數據控制系統、分級分層享用系統、網絡風險防范系統以及由此產生的AI智能管控監督架構系統。

另一方面，采取多種舉措推動生成式AI的技術發展與治理。鼓勵生成式AI技術在各行業、各領域的創新應用，探索優化應用場景，構建應用生態體系。

支持行業組織、企業、教育和科研機構、公共文化機構、有關專業機構等在生成式AI技術創新、數據資源建設、轉化應用、風險防范等方面開展協作。推動生成式AI基礎設施和公共訓練數據資源平臺建設。

促進算力資源協同共享，提升算力資源利用效能。推動公共數據分類分級有序開放，擴展高質量的公共訓練數據資源。

如今，爭奪“數據主權”已經成為全球數據安全發展新態勢，隨著各國紛紛出臺數據戰略，立法維護國家數據主權。

在此背景下，提升生成式AI的安全性將成為全球各國未來的產業重任之一，而我國安全企業已然邁出重要一步。