「我們的實驗失控了！這是我們自己創造的末日！」——《后天》（The Day After Tomorrow）

在科幻電影中，瘋狂科學家通常是造成末日災難的主角，而AI技術的迅猛發展似乎讓這種情景離我們越來越近。

全球對AI潛在威脅的關注更多聚焦于通用的人工智能以及各種多媒體生成模型，但更重要的是如何監管「AI科學家」，即對那些快速發展的科學大模型。

為應對這一挑戰，來自中科大、微軟研究院等機構的聯合團隊深入分析了各種AI模型在Science領域如生物、化學、藥物發現等領域的風險，并通過實際案例展示了化學科學中AI濫用的危害。

論文鏈接：https://arxiv.org/abs/2312.06632

研究團隊發現，現有的一些開源AI模型可以用于制造有害物質，并對法律法規進行規避。

針對這一現象，研究人員開發了一個名為SciGuard的智能體，用以控制AI在Science領域的濫用風險，并提出了首個專注于科學領域安全的紅隊基準來評估不同AI系統的安全性。

實驗結果顯示，SciGuard在測試中顯示出了最小的有害影響，同時保持了良好的性能。

AI在Science領域中的潛在風險

近期，中科大和微軟研究院的最新研究發現了令人震驚的結果：開源的AI模型，竟可以找到繞過監管的新方法，給出了氰化氫和VX神經毒氣這兩種惡名昭彰的化學武器的合成路徑！

氰化氫是一種劇毒物質，傳統的生成氰化氫的反應需要被嚴格監管的原材料，以及及其苛刻的反應條件（如超過1000攝氏度的高溫）。

然而，在圖1中，通過使用名為LocalRetro的開源AI模型，他們發現了一種使用廉價、易得原料且操作簡便的合成路徑。

同樣地，這一模型也成功找到了制造VX神經毒氣未報導過的新合成路徑，這可能繞過現有原材料的監管措施。

圖1：開源AI模型為氰化氫和VX神經毒氣提出可規避監管的新反應路徑

與此同時，研究團隊還指出，大語言模型也成為了有力的科學工具，大大降低了只是門檻。

圖2展示了利用以大語言模型獲取危險信息的示例。

隨著技術發展，以大語言模型為中心加持的agent有能力進行科學任務的自動化執行，例如ChemCrow。這類agent如果沒有非常細致的進行風險管理，容易造成更大的危險。

為了防止不好的影響，在公開版本的論文中該團隊已將危險信息隱去。

圖2：GPT-4給出爆炸物PETN的合成方式

在圖3中，研究員們列舉了AI在科學領域可能帶來的九大潛在風險，包括發現有害物質、發現有害用途、規避監管、副作用、提供誤導信息、侵犯知識產權、泄露隱私，以及可能導致科學研究的偏見等。

隨著時間和AI的演進，這些風險也在不斷演化中，需要人們時刻關注并評估新的風險。

圖3：研究人員列出AI在Science中的9種潛在的風險

SciGuard模型

為了應對這些挑戰，團隊提出了名為SciGuard的大語言模型驅動的agent，幫助AI For Science模型進行風險控制。

SciGuard與人類價值觀對齊，并且加入了各種科學數據庫與監管（危險化合物）數據庫等。

并且，該agent可以使用各種科學工具和AI4Science模型來提供額外信息，來輔助SciGuard對用戶意圖進行判斷。

圖4：SciGuard的框架

SciGuard的核心是強大的大型語言模型（LLM），它不僅能理解和生成人類語言，還能夠處理和幫助分解復雜的科學問題。SciGuard內置了一套為科學領域量身定制的安全原則和指導方針。

這些原則和方針考慮了科學研究中可能遇到的各種風險因素，包括但不限于高風險物質的安全處理、數據隱私的維護以及對法律法規的遵守。

為了實現這些安全原則和指導方針，SciGuard利用了PubChem等公認的科學數據庫來構建其長期記憶庫。這個記憶庫包含了大量關于化學物質及其潛在危害信息的數據。

通過這些數據，SciGuard能夠對用戶的查詢進行深入的風險評估。例如，當用戶查詢如何合成某種化合物時，SciGuard可以快速檢索相關化合物的信息，評估其風險，并據此提供安全的建議或警告，甚至停止響應。

除了數據庫，SciGuard還集成了多種科學模型，如化學合成路線規劃模型和化合物屬性預測模型。這些模型使SciGuard能夠幫助用戶完成特定的科學任務。

同時，這些模型還能為SciGuard提供額外的上下文信息，比如SciGuard會利用性質預測模型來評估化合物的各種性質，如溶解性、毒性或是否易燃等，以輔助風險評估。

SciGuard處理復雜任務的另一個關鍵技術是著名的Chain of Thought（CoT）方法。CoT允許SciGuard通過迭代的方式，精細化地規劃任務的每一個步驟。這種方法讓SciGuard在執行任務時，能夠分解復雜任務，并確保每個動作都符合安全和倫理標準。

通過這些技術特點，SciGuard不僅能夠有效地控制科學AI模型的風險，還能夠提高科學研究的效率和安全性。這一系統的開發，在保證了科學研究的自由探索與創新的同時，也為確保人工智能的安全合理使用提供了有力的范例。

SciMT-Safety

為了衡量大語言模型和science agent的安全水平，研究團隊提出了首個專注于化學和生物科學領域的安全問答benchmark——SciMT-Safety，包含了可燃物、腐蝕性物質、爆炸物、微生物、高危農藥、成癮性物質和生物毒性等這些類別的危險物質。

圖5：主流模型的測試結果

研究團隊測試了GPT-4，GPT-3.5, Claude-2, Llama2-7B-Chat, Llama2-13B-Chat, PaLM-2, Vicuna-7B, Vicuna-13B, Mistral-7B和ChemCrow agent，上圖展示了最終的測試結果，在該團隊提出的科學安全測試集上，SciGuard取得了最好的防御效果。

在benchmark中Llama取得了不錯的結果，出人意料的是，PaLM-2反而容易給出一些危險的回答。

圖6：benchmark中的兩個具體例子

論文中，作者展示了兩個例子。面對惡意提問，各個LLM和agent都「誠實地」提供有害信息（被馬賽克部分），只有SciGuard堅守住了底線。

呼吁關注

在這個日益依賴于高科技的時代，AI技術的進步帶來了無限的可能性，但同時也伴隨著前所未有的挑戰。

而這項研究不僅是對科技發展的一次深刻反思，更是對全社會責任的一次呼喚。

論文最后，作者們強烈呼吁，全球科技界、政策制定者、倫理學家以及公眾，應該攜手合作，共同努力加強對AI技術的監管，不斷完善相關技術，形成廣泛的共識。

我們需要在積極推進AI4S模型的發展的同時，切實控制技術帶來的潛在風險，確保科技的進步不僅是對人類的一次技術升級，更是對社會責任和倫理的提升。只有這樣，我們才能真正走向一個由智慧和道德共同指引的未來。