眾所周知，除了各種科幻電影的演繹外，AI在現實世界中還沒有殺過人，也沒有發動過大規模網絡攻擊。

然而，美國的一些立法者依然希望，在這種反烏托邦的未來變為現實之前，能夠實施足夠安全保障。

就在本周，加州的《前沿人工智能模型安全創新法案》——SB 1047，再次朝著正式成為法律，邁出了重要一步。

簡單來說，SB 1047將會通過追究開發者的責任，來防止AI系統造成大規模人員傷亡，或引發損失超過5億美元的網絡安全事件。

不過，由于來自學界和業界的反對太過強烈，加州立法者稍稍做了一些妥協——加入了AI初創Anthropic和其他反對者建議的幾項修正案。

相比于最初的提案，現行版本減少了加州政府追究AI實驗室責任的權力。

法案地址：https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202320240SB1047

但即便如此，（幾乎）沒有人喜歡SB 1047。

Yann LeCun、李飛飛、吳恩達等AI大牛們，都曾多次表達了對這項「扼殺開源AI，迫使AI創新暫緩甚至停止」的法案的不滿。

各種聯名信也是層出不窮：

不僅有40多位來自加州大學、南加州大學、斯坦福大學和加州理工學院的研究人員，強烈呼吁不要通過這項法案。

而且代表加州各選區的8位國會議員，也敦促州長否決法案。

甚至，LeCun還照搬了之前要求暫停AI研究時的原梗——請暫停AI立法六個月！

那么問題來了，為什么前文用的是「幾乎所有人」？

因為，除了LeCun之外的另外兩位圖靈巨頭，Yoshua Bengio和Geoffrey Hinton，都強烈支持這項法案通過。

甚至還覺得，現在的條款定得有些太過寬松了。

作為高級人工智能技術和政策研究人員，我們寫信表達對加州參議院法案1047的強烈支持。

SB 1047概述了對這種技術進行有效監管的基本要求。它沒有實施許可制度，不要求公司在訓練或部署模型之前獲得政府機構的許可，它依賴于公司自行評估風險，甚至在發生災難時也不對公司嚴格追責。

相對于我們面臨的風險規模，這是一項相對寬松的立法。

取消該法案的基本措施將是一個歷史性的錯誤——這一錯誤將在一年內變得更加明顯，因為下一代更強大的AI系統將被發布。

如今，SB 1047雖然遭到了一些美國國會議員、知名AI研究人員、大型科技公司和風險投資人的強烈反對，但在加州立法機構中卻還是相對輕松地通過了。

接下來，SB 1047將進入加州議會進行最終投票。由于加入了最新的修正案，法案在通過之后，還需要被送回加州參議院進行投票。

如果這兩次都投票通過，那么SB 1047就會被送到州長那里，等待最終的否決或簽署成為法律。

哪些模型和公司會受到約束？

根據SB 1047的要求，開發者或開發模型的公司，需要負責防止自己的AI模型被人拿去造成「重大傷害」。

比如制造大規模殺傷性武器，或發起損失超過5億美元的網絡攻擊。順便一提，CrowdStrike的「全球Windows藍屏事件」，造成了超過50億美元的損失。

不過，SB 1047的規則僅適用于那些規模十分巨大的AI模型——即訓練成本至少為1億美元，且浮點運算超過10^26次。（基本上就是照著GPT-4的訓練成本定的）

據稱，Meta下一代Llama 4所需的計算量將會翻至10倍，因此也將會受到SB 1047的監管。

對于開源模型及其微調版本，則需要原始開發者負責。除非花費的成本達到了原始模型的3倍。

如此看來，難怪LeCun的反應會如此激烈。

此外，開發者還必須創建能夠解決AI模型風險的測試程序，并且必須每年聘請第三方審計員來評估其AI安全實踐。

對于那些基于模型打造的AI產品，則需要制定相應的安全協議來防止濫用，包括一個關閉整個AI模型的「緊急停止」按鈕。

等等……

SB 1047現在的功能是什么？

如今，SB 1047不再允許加州總檢察長在災難性事件發生之前，因安全措施疏忽起訴AI公司。（來自Anthropic的建議）

取而代之的是，加州總檢察長可以尋求禁止令，要求公司停止其認為危險的某項操作，并且如果其模型確實導致災難性事件，仍然可以起訴 AI 開發者。

SB 1047不再設立原本包含在法案中的新政府機構「前沿模型司（FMD）」。

但仍然設立了FMD的核心——前沿模型委員會，并將其置于現有的政府運營署內，規模也從之前的5人擴大到了9人。委員會仍將為所涵蓋的模型設定計算門檻，發布安全指導，并為審計員發布法規。

在確保AI模型安全方面，SB 1047的措辭也更加寬松。

現在，開發者只需提供「合理注意」來確保AI模型不會構成重大災難風險，而不是之前要求的「合理保證」。

此外，開發者也只需提交公開的「聲明」來概述其安全措施，不再需要以偽證罪為懲罰提交安全測試結果的認證。

對于開源微調模型來說，也有了一項單獨的保護。如果有人在微調模型上的花費少于1000萬美元，他們將不被視為開發者，責任仍由模型的原始大型開發者承擔。

李飛飛曾親自撰文抨擊

SB 1047對于AI界的影響，可以從「AI教母」李飛飛發在《財富》雜志的專欄文章中窺見一斑：

「如果成為法律，SB 1047將損害美國新生的AI生態系統，尤其是那些已經處于劣勢的部分：公共部門、學術界和小型科技公司。SB 1047將不必要地懲罰開發者，扼殺的開源社區，限制學術研究，同時也無法解決真正的問題。」

首先，SB 1047將過度懲罰開發者并扼殺創新。

在AI模型被濫用的情況下，SB 1047將責任歸咎于負責方和該模型的原始開發者。對于每個AI開發者，尤其是剛起步的程序員和企業家來說，預測其模型的每一種可能用途是不可能的。SB 1047將迫使開發者采取防御性措施——這本應是需要極力避免的。

其次，SB 1047將束縛開源開發。

SB 1047要求所有超過某一閾值的模型都包含一個「緊急停止按鈕」，即可以隨時關閉程序的機制。如果開發者擔心他們下載和構建的程序會被刪除，他們在編寫代碼或協作時會更加猶豫不決。這個緊急停止按鈕將嚴重影響開源社區——不僅在AI領域，而且在包括GPS、MRI和互聯網本身在內的各個領域的無數創新源頭。

第三，SB 1047將削弱公共部門和學術界的AI研究。

開源開發在私營部門很重要，但對學術界更重要，因為后者無法在沒有協作和模型數據訪問的情況下取得進展。如果研究人員無法獲得適當的模型和數據，又該如何去培養下一代AI領導者呢？緊急停止按鈕將進一步削弱本就在數據和計算方面處于劣勢的學術界。當我們應該加大投資公共部門AI時，SB 1047將對學術AI造成致命打擊。

最令人擔憂的是，SB 1047沒有解決AI進步的潛在風險，包括偏見和Deepfake。相反，它設定了一個非常隨意的門檻——達到一定算力或耗資1億美元訓練的模型。這項措施不僅不能提供保障，反而會限制包括學術界在內的各個領域的創新。

李飛飛表示，自己并非是反對AI治理。立法對于AI的安全和有效發展至關重要。然而，AI政策必須支持開源開發，制定統一且合理的規則，并為消費者建立信心。

顯然，SB 1047并沒有達到這些標準。