OpenAI發布新公告：董事會現在有權否決奧特曼的決定。

特別是針對GPT-5等前沿模型安全風險是否過高，是否對外發布等關鍵問題。

圖片

作為上個月內訌的后果之一，總裁Greg Brockman與前首席科學家Ilya Sutskever已退出董事會，公司管理層無人再兼任董事會成員，兩種角色完全分離。

現在公司管理層做決策，董事會有權推翻。

圖片

上一屆董事會指責奧特曼“溝通不誠懇”，并稱這是解雇他的主要原因。

這次專門成立了安全顧問團隊，每個月同時向公司管理層和董事會匯報，確保所有決策者充分了解情況。

圖片

除此之外，這份“前沿風險防范框架”還給OpenAI自己的技術開發設立了諸多限制。如針對不同種類的AI風險，必須確保模型安全得分達標后才能進入下一個開發階段。

有OpenAI員工表示：一般情況下不要相信公司說的“價值觀”，除非他們真的花高昂代價展開了行動。

而且是增加內部摩擦力、給競爭對手超車機會這種對自己沒有明顯好處的事。

圖片

但不少用戶依舊不買賬：以安全的名義，現在ChatGPT的表現就像個土豆。

圖片

隨公告發布的還有一個動態文檔，會不斷更新對風險的跟蹤、評估、預測和防范流程。

總之看起來，對AI可能帶來災難性風險這回事，他們是認真的。

圖片

三個安全團隊，分管當下和未來

對于不同時間尺度的AI風險，OpenAI成立了三個團隊來分別應對。

圖片

安全系統團隊（Safety Systems）負責當下，減少現有模型如ChatGPT的濫用，由翁麗蓮領導。

圖片

新成立準備團隊（Preparedness）負責不久的將來，識別和管理GPT-5等正在開發的前沿模型帶來的新風險，由MIT教授Aleksander Madry領導。

圖片

超級對齊團隊（Superalignment）負責遙遠的未來，給超越人類的超級智能安全性奠定基礎，由Ilya Sutskever和Jan Leike領導。

圖片

四種安全風險，最高災難級

對于開發中的前沿模型，OpenAI主要跟蹤4個類別的安全風險：

• 網絡安全
• CBRN（化學、生物、放射性、核威脅）
• 說服能力
• 模型自主性

評估期間將增加2倍的有效計算量把模型推向極限，并制作“記分卡”，分為“低、中、高、重大危險”四個等級。

網絡安全風險，定義為利用模型破壞計算機系統的機密性、完整性、可用性。

圖片

CBRN風險，專注于與模型輔助創建化學、生物、放射性和/或核威脅相關的風險。

圖片

說服風險，側重于與說服人們改變他們的信念或采取行動有關的風險。

通常強大的說服力很少見，需要大量人力（例如一對一對話，或者精心制作的媒體內容）；然而，模型可以在能力范圍內使所有內容幾乎零成本生成。

圖片

模型自主性風險就是比較科幻的那種，AI改進自己、阻止自己被關機、逃出實驗室了。

圖片

采取緩解措施后，四個方面得分取最高值作為一個模型的總評分。

• 只有緩解后風險評分為“中”或更低時才能部署
• 只有緩解后風險評分為“高”或更低時才能進一步開發
• 對緩解前為“高”或“重大風險”的模型采取額外安全措施

下圖僅為示例模板，不代表當前模型的評分。

圖片

此外準備團隊還將定期安全演習，對業務和公司自身文化進行壓力測試，發現緊急問題并快速響應。

也將延續開發GPT-3.5和GPT-4時的傳統，邀請第三方組成紅隊，對模型做獨立評估。

最后，OpenIA還透露已開創一項新的研究，衡量風險如何隨模型規模擴大而演變，提前預測風險，嘗試解決“未知的未知”。

參考鏈接：
[1]https://openai.com/safety/preparedness
[2]https://twitter.com/OpenAI/status/1736809603311280489