根據最新消息，開源人工智能（AI）和機器學習（ML）模型中已披露了三十幾個安全漏洞，其中一些漏洞可能導致遠程代碼執行和信息竊取。

在 ChuanhuChatGPT、Lunary 和 LocalAI 等工具中發現的這些漏洞已作為 Protect AI 的 Huntr 漏洞懸賞平臺的一部分進行了報告。

其中最嚴重的漏洞是影響大型語言模型（LLM）生產工具包 Lunary 的兩個漏洞：CVE-2024-7474 (CVE-2024-7474) 和 CVE-2024-7474（CVE-2024-7474）。

• CVE-2024-7474（CVSS 得分：9.1）：一個不安全的直接對象引用 (IDOR) 漏洞，可允許已通過身份驗證的用戶查看或刪除外部用戶，導致未經授權的數據訪問和潛在的數據丟失
• CVE-2024-7475 （CVSS 得分：9.1）：訪問控制不當漏洞，允許攻擊者更新 SAML 配置，從而有可能以未經授權的用戶身份登錄并訪問敏感信息。

在 Lunary 中還發現了另一個 IDOR 漏洞（CVE-2024-7473，CVSS 得分：7.5），該漏洞允許惡意行為者通過操縱用戶控制參數來更新其他用戶的提示。

Protect AI 在一份公告中解釋道 ：攻擊者以用戶 A 的身份登錄并攔截更新提示符的請求，通過將請求中的'id'參數修改為屬于用戶 B 的提示符的'id'，攻擊者可以在未經授權的情況下更新用戶 B 的提示符。

第三個嚴重漏洞涉及 ChuanhuChatGPT 用戶上傳功能中的路徑遍歷漏洞（CVE-2024-5982，CVSS 得分：9.1），該漏洞可能導致任意代碼執行、目錄創建和敏感數據暴露。

LocalAI是一個開源項目，允許用戶運行自托管的LLM，該項目還發現了兩個安全漏洞，可能允許惡意行為者通過上傳惡意配置文件執行任意代碼（CVE-2024-6983，CVSS評分：8.8），以及通過分析服務器的響應時間猜測有效的API密鑰（CVE-2024-7010，CVSS評分：7.5）。

Protect AI 表示，該漏洞允許攻擊者執行定時攻擊，這是一種側信道攻擊，通過測量處理不同 API 密鑰請求所需的時間，攻擊者可以逐個字符推斷出正確的 API 密鑰。

此外，還有一個影響 Deep Java Library（DJL）的遠程代碼執行漏洞，該漏洞源于軟件包的 untar 函數中的任意文件覆蓋漏洞（CVE-2024-8396，CVSS 得分：7.8）。

該漏洞可能會導致代碼執行和數據篡改。英偉達在發布補丁修復其NeMo生成式人工智能框架中的路徑遍歷漏洞（CVE-2024-0129，CVSS評分：6.3）的同時，也披露了這一漏洞。建議用戶將其安裝更新到最新版本，以確保其 AI/ML 供應鏈的安全并防范潛在攻擊。

漏洞披露之前，Protect AI 還發布了開源 Python 靜態代碼分析器 Vulnhuntr，該分析器可利用 LLM 在 Python 代碼庫中查找零日漏洞。

Vulnhuntr 的工作原理是在不影響 LLM 上下文窗口（LLM 在單個聊天請求中可解析的信息量）的情況下，將代碼分解成小塊，從而標記出潛在的安全問題。

Dan McInerney 和 Marcello Salvati 說：它會自動在項目文件中搜索可能最先處理用戶輸入的文件。然后，它會攝取整個文件，并回復所有潛在漏洞。

利用這份潛在漏洞清單，它將繼續完成從用戶輸入到服務器輸出的整個函數調用鏈，對整個項目中的每個潛在漏洞逐個函數/類進行分析，直到它對整個調用鏈感到滿意，才能進行最終分析。

撇開人工智能框架的安全漏洞不談，Mozilla 的 0Day 調查網絡（0Din）發布的一項新越獄技術發現，以十六進制格式和表情符號編碼的惡意提示可用于繞過 OpenAI ChatGPT 的防護措施，并對已知的安全漏洞精心設計漏洞利用。

安全研究員馬爾科-菲格羅亞（Marco Figueroa）說：越獄策略利用了語言漏洞，指示模型處理一項看似無害的任務：十六進制轉換。由于該模型經過優化，可以遵循自然語言的指令，包括執行編碼或解碼任務，因此它本質上并沒有意識到轉換十六進制值可能會產生有害輸出。

出現這一漏洞的原因是，語言模型被設計為按部就班地執行指令，但缺乏深入的上下文意識，無法在其最終目標的大背景下評估每個單獨步驟的安全性。