談及大模型，國內的競爭格局日新月異，異常激烈。幾乎每周我們都能看到新的模型發布、開源或迭代，從技術榜單到應用市場，處處都是國產模型競相綻放的身影，整個行業呈現出一派生機勃勃的景象。

這讓人不禁思考一個現象，中美在AI路線上似乎正走向不同的分支。美國頂尖的AI公司傾向于將核心技術閉源，而國內的主流廠商則不約而同地選擇了開源，大家開放共享，技術快速迭代，整個生態繁榮發展。

但無論路線如何，所有從業者都面臨一個共同的終極疑問：大模型的“腦子”里，究竟在想什么？

它那動輒萬億的參數，是如何協同工作，才涌現出如此驚人智能的？我們能像解剖精密儀器一樣，把它的“思考”過程弄個明明白白嗎？

這個問題，就是AI領域的“圣杯”——模型可解釋性。過去，我們習慣于將大模型視為“黑箱”，輸入問題，輸出答案，中間過程難以捉摸。但最近，打造了Claude系列模型的Anthropic公司，發布了一篇極具深度的博客，為我們揭開這個“黑箱”提供了一個全新的、腦洞大開的視角。

他們所使用的方法，堪稱是對大模型進行了一場“神經科學”與“生物學”的交叉研究實驗。

像研究大腦一樣，研究大模型

Anthropic的研究，出發點就與眾不同。他們認為，理解大模型內部工作原理的挑戰，與生物學家理解大腦等復雜生命系統所面臨的挑戰，存在著驚人的相似性。

Our core analogy is that understanding the challenges of reverse-engineering a large language model is surprisingly similar to the challenges of reverse-engineering a biological organism like the brain.

（我們的核心類比是：逆向工程一個大語言模型的挑戰，與逆向工程一個像大腦這樣的生物有機體的挑戰驚人地相似。）

生物學家無法直接“編程”一個大腦，只能通過觀察、實驗、解剖，逐步繪制出神經元的連接圖譜，理解不同腦區的功能。同樣，我們也沒法直接“編程”大模型的智能，它的能力是在海量數據中“演化”和“涌現”出來的。

基于這個思路，Anthropic的研究員們借鑒神經科學的方法，開發出了一套名為“歸因圖（Attribution Graphs）”的技術。

這套技術，就像是給大模型裝上了一臺高精度的“腦功能掃描儀”，讓我們能夠追蹤模型在處理具體問題時，內部信息流動的“思維路徑”。

“歸因圖”：讓模型思考過程可視化

這個“歸因圖”究竟是如何工作的？我們可以把它理解成一張為模型單次推理繪制的、高度精煉的“思維導圖”。

當一個問題（Prompt）輸入大模型后，這張圖能夠展示出模型內部哪些代表抽象概念的“特征（features）”被激活了，以及這些特征之間如何相互連接、相互影響，最終“匯聚”成我們看到的答案。

這里的“特征”，是模型在學習中形成的內部概念表征。它可能代表一個詞（比如“北京”），一種關系（比如“...的首都是...”），甚至是一種更復雜的邏輯。這些“特征”就像是構成模型進行高級計算的基本“神經元”或“功能模塊”。

博文中給出了一個直觀的例子。當我們問模型：“包含達拉斯的州的首府是哪里？”（What is the capital of the state that contains Dallas?）

“歸因圖”清晰地展示了模型的推理鏈條：

1. 模型內部代表“達拉斯（Dallas）”的特征被激活。

2. 這個特征的激活，緊接著激活了代表“德克薩斯州（Texas）”的特征。

3. 最終，“德克薩斯州”的特征指向并激活了“奧斯?。ˋustin）”這個答案。

通過“歸因圖”，原本隱藏在億萬參數背后的抽象計算過程，一下子變得直觀、可視。我們不再是面對一個只會給出結果的“黑箱”，而是能夠窺見其內部邏輯鏈條的“透明盒子”。

“解剖”Claude，我們發現了什么？

Anthropic團隊將這把“解剖刀”用在了自家的輕量級模型Claude 3.5 Haiku上，并有了一系列驚人的發現。他們觀察到，這個模型在執行一些我們認為需要規劃和遠見的任務時，表現出了遠超想象的“內部機制”：

?前瞻性規劃：在寫詩時，模型會提前規劃好韻腳，然后再去填充詩句內容，而非隨想隨寫。

?逆向推理：為了達成某個目標，模型會從目標狀態出發，反向推導出之前需要完成的步驟。

?元認知能力：模型似乎有一種原始的“元認知”回路，讓它能“知道”自己知識的邊界，從而判斷能否回答某個問題。

這些發現極具顛覆性。它揭示了大模型的內部世界，可能遠比我們想象的要更加豐富和深刻。它不僅僅是在做機械的概率計算，而是在一個高維的“概念空間”里，進行著復雜的、結構化的“思考”。

Anthropic的這項研究，雖然技術門檻極高，但它所帶來的啟發是普適的。它將大模型研究從宏觀的性能比拼，引向了微觀的機理探索。過去我們訓練模型，很大程度上依賴經驗、算力和數據，而模型可解釋性的研究，正在將這個過程變得越來越像一門嚴謹的“科學”。未來，誰能更深刻地理解模型的內部機理，誰就可能掌握打造更強大、更安全AI的核心鑰匙。

我們總是擔心AI會“失控”。但如果我們能清楚地知道AI的每一個決策是如何做出的，甚至能干預它的“思考”過程，那么“安全”和“可控”就有了堅實的技術基礎。

當前，國內大模型在應用層面的創新非常活躍，但在底層的、開創性的理論研究上，我們還需要更多的投入和積累。Anthropic的這項工作，無疑為我們提供了一個極佳的參照和追趕目標。

本文轉載自??芝士AI吃魚??，作者：芝士AI吃魚