編譯丨伊風

出品 | 51CTO技術棧（微信號：blog51cto）

對生成性人工智能（generative AI）的需求正不斷增長，而對LLM安全和可靠性的擔憂也變得比以往任何時候都更加突出。企業(yè)希望能確保為內(nèi)外部使用而開發(fā)的大規(guī)模語言模型（LLM）能夠提供高質(zhì)量的輸出，而不會偏離到未知領域。

微軟認識到這些擔憂，長期以來，微軟使用OpenAI的模型只能調(diào)用API，對黑盒里的秘密缺少掌控的方法。微軟近期宣布推出了新的Azure AI工具，用以幫助解決大模型的幻覺問題，同時能夠解決安全漏洞問題，如提示注入攻擊，即模型被欺騙生成侵犯隱私或其他有害內(nèi)容——就像微軟自己的AI圖像創(chuàng)作器生成的泰勒·斯威夫特深度偽造圖像一樣。

據(jù)悉，安全工具將在未來幾個月內(nèi)廣泛推出，目前尚未公開具體的時間表。

1.Azure AI在大模型的安全做些什么？

隨著LLM的普及，提示注入攻擊問題變得格外突出。本質(zhì)上，攻擊者可以以一種方式改變模型的輸入提示（prompt），以繞過模型的正常操作，包括安全控制，并操縱它以顯示個人或有害內(nèi)容，從而危及安全或隱私。這些攻擊可以通過兩種方式進行：直接攻擊，即攻擊者直接與LLM交互；或間接攻擊，這涉及使用第三方數(shù)據(jù)源，如惡意網(wǎng)頁。

為了解決這兩種形式的提示注入，微軟正在將提示盾（Prompt Shields）添加到Azure AI。這是一個綜合能力，使用先進的機器學習（ML）算法和自然語言處理自動分析提示和第三方數(shù)據(jù)的惡意意圖，并阻止它們到達模型。

它將集成到微軟的三個相關產(chǎn)品中：Azure OpenAI服務（編者注：Azure OpenAI 是微軟推出的一款基于云的服務產(chǎn)品，它提供了對OpenAI強大語言模型的訪問能力。Azure OpenAI 的核心優(yōu)勢在于它結合了OpenAI的先進技術和微軟Azure的安全性及企業(yè)級承諾）、Azure AI內(nèi)容安全和Azure AI工作室。

除了努力阻止威脅安全和安全的提示注入攻擊外，微軟還引入了專注于生成型AI應用程序可靠性的工具。這包括預建的安全中心系統(tǒng)消息模板和一個新的功能，稱為“基礎性檢測”（Groundedness Detection）。

正如微軟所解釋的，安全中心系統(tǒng)消息模板允許開發(fā)人員構建引導模型行為朝著安全、負責和數(shù)據(jù)基礎輸出的系統(tǒng)消息。而基礎性檢測使用一個經(jīng)過微調(diào)的定制語言模型來檢測模型產(chǎn)生的文本輸出中的幻覺或不準確材料。兩者都將在Azure AI工作室和Azure OpenAI產(chǎn)品中提供服務。

值得注意的是，檢測基礎性的指標還將伴隨著自動化評估，以壓力測試生成型AI應用程序的風險和安全性。這些指標將衡量應用程序被越獄并產(chǎn)生任何不適當內(nèi)容的可能性。評估還將包括自然語言解釋，以指導開發(fā)人員如何構建適當?shù)木徑獯胧﹣斫鉀Q問題。

“今天，許多組織缺乏壓力測試其生成型AI應用程序的資源，以便他們可以自信地從原型轉向市場應用。首先，構建一個反映新出現(xiàn)風險范圍的高質(zhì)量測試數(shù)據(jù)集可能是具有挑戰(zhàn)性的，例如越獄攻擊。即使有高質(zhì)量的數(shù)據(jù)，評估也可能是一個復雜且手動的過程，開發(fā)團隊可能會發(fā)現(xiàn)很難解釋結果以通知有效的緩解措施，”微軟安全AI首席產(chǎn)品官Sarah Bird在博客文章中指出。

2.Azure AI將實時“監(jiān)控”大模型

Azure AI在實際使用過程中，微軟將提供實時監(jiān)控，幫助開發(fā)人員密切關注觸發(fā)安全功能（如提示盾）的輸入和輸出。這項功能被集成在Azure OpenAI服務和AI工作室產(chǎn)品中，將生成詳細的可視化圖表，突出顯示被阻止的用戶輸入/模型輸出的數(shù)量和比例，以及按嚴重性/類別的細分。

利用這種可視化的實時監(jiān)測，開發(fā)人員能夠了解有害請求趨勢隨時間的變化，并調(diào)整其內(nèi)容過濾器配置、控制以及更廣泛的應用程序設計，以增強安全性。

微軟致力于加強其AI產(chǎn)品已經(jīng)有很長的時間了。此前，微軟CEO薩提亞·納德拉（Satya Nadella）在采訪中強調(diào)，微軟并沒有完全依賴于OpenAI，同時也在發(fā)展自己的AI項目，以及幫助OpenAI建設其產(chǎn)品：“我對于我們現(xiàn)在的關系感到很滿意。我也認為，這樣有助于我們掌握各自公司的命運。”

改變了“All in OpenAI”的格局，微軟也使用了包括Mistral在內(nèi)的大模型。最近，微軟新成立的團隊Microsoft AI動作頻頻，它甚至聘請了來自Inflection AI的Mustafa Suleyman及其團隊。這似乎是一種減少對Sam Altman及OpenAI依賴的方法。

現(xiàn)在，這些新的安全和可靠性工具的加入建立在公司已經(jīng)完成的工作基礎上，為開發(fā)人員提供了一個更好、更安全的方式來構建其提供的模型之上的生成型AI應用程序。

參考鏈接：https://venturebeat.com/ai/microsoft-launches-new-azure-ai-tools-to-cut-out-llm-safety-and-reliability-risks/

來源： ??51CTO技術棧??作者：伊風