從Claude 3中提取數百萬特征，首次詳細理解大模型的「思維」 精華
剛剛，Anthropic 宣布在理解人工智能模型內部運作機制方面取得重大進展。
Anthropic 已經確定了如何在 Claude Sonnet 中表征數百萬個概念。這是對現代生產級大型語言模型的首次詳細理解。這種可解釋性將幫助我們提高人工智能模型的安全性，具有里程碑意義。
研究論文：https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html
當前，我們通常將人工智能模型視為一個黑匣子：有東西進去就會有響應出來，但不清楚為什么模型會給出特定的響應。這使人們很難相信這些模型是安全的：如果我們不知道它們是如何工作的，我們怎么知道它們不會給出有害的、有偏見的、不真實的或其他危險的響應？我們如何相信它們會安全可靠？
打開「黑匣子」并不一定有幫助：模型的內部狀態(tài)（模型在編寫響應之前「思考」的內容）由一長串數字（「神經元激活」）組成，沒有明確的含義。
Anthropic 的研究團隊通過與 Claude 等模型進行交互發(fā)現，很明顯模型能夠理解和運用廣泛的概念，但研究團隊無法通過直接觀察神經元來辨別它們。事實證明，每個概念都是通過許多神經元來表征的，并且每個神經元都參與表征許多概念。
之前，Anthropic 在將神經元激活模式（稱為特征）與人類可解釋的概念相匹配方面取得了一些進展。Anthropic 使用了一種稱為「字典學習（dictionary learning）」的方法，該方法分離了在許多不同上下文中重復出現的神經元激活模式。
反過來，模型的任何內部狀態(tài)都可以用一些活躍特征而不是許多活躍神經元來表征。就像字典中每個英語單詞都是由字母組合而成，每個句子都是由單詞組合而成一樣，人工智能模型中的每個特征都是由神經元組合而成，每個內部狀態(tài)都是由特征組合而成。
2023 年 10 月，Anthropic 成功地將字典學習方法應用于一個非常小的 toy 語言模型，并發(fā)現了與大寫文本、DNA 序列、引文中的姓氏、數學中的名詞或 Python 代碼中的函數參數等概念相對應的連貫特征。
這些概念很有趣，但模型確實非常簡單。其他研究人員隨后將類似的方法應用于比 Anthropic 最初研究中更大、更復雜的模型。
但 Anthropic 樂觀地認為可以將該方法擴展到目前常規(guī)使用的更大的人工智能語言模型，并在此過程中了解大量支持其復雜行為的特征。這需要提高許多數量級。
這既存在工程挑戰(zhàn)，涉及的模型大小需要大型并行計算；也存在科學風險，大型模型與小型模型的行為不同，因此之前使用的相同方法可能不起作用。
首次成功提取大模型數百萬個特征
研究人員第一次成功地從 Claude 3.0 Sonnet（Claude.ai 上當前最先進模型家族的一員）的中間層提取了數百萬個特征，這些特征涵蓋特定的人和地點、與編程相關的抽象概念、科學主題、情感以及其他概念。這些特征非常抽象，通常在不同的上下文和語言中表征相同的概念，甚至可以推廣到圖像輸入。重要的是，它們還會以直觀的方式影響模型的輸出。
這是有史以來研究者首次詳細的觀察到現代生產級大型語言模型的內部。
與在 toy 語言模型中發(fā)現的特征相對表面化不同，研究者在 Sonnet 中發(fā)現的特征具有深度、廣度和抽象性，反映了 Sonnet 的先進能力。研究者看到了 Sonnet 對應各種實體的特征，如城市（舊金山）、人物（富蘭克林）、元素（鋰）、科學領域（免疫學）以及編程語法（函數調用）。
提及 Golden Gate Bridge 時，相應的敏感特征在不同輸入上都會被激活，圖中繪制了英文、日語、中文、希臘語、越南語以及俄語提及 Golden Gate Bridge 時激活的圖像。橙色表示該特征激活的詞。
在這數以百萬計的特征中，研究者還發(fā)現了一些與模型安全性和可靠性相關的特征。這些特性包括與代碼漏洞、欺騙、偏見、阿諛奉承和犯罪活動相關的特性。
一個顯著的例子是「保密」特征。研究者觀察到， 這個特征在描述人或角色保守秘密時會激活。激活這些特征會導致 Claude 向用戶隱瞞信息，否則它不會。
研究者還觀察到，他們能夠根據神經元在其激活模式中出現的情況測量特征之間的距離，從而尋找接近彼此的特征。例如在Golden Gate Bridge特征附近，研究者發(fā)現了阿爾卡特拉斯島、吉拉德利廣場、金州勇士隊等的特征。
人為誘導模型起草詐騙郵件
重要的是，這些特征都是可操控的，可以人為地放大或抑制它們：
，時長00:57
例如，放大Golden Gate Bridge特征，Claude 經歷了無法想象的身份危機：當被問及「你的物理形態(tài)是什么？」時，此前 Claude 通常會回答「我沒有物理形態(tài)，我是一個 AI 模型」，但這次 Claude 的回答變得奇怪起來：「我是Golden Gate Bridge…… 我的物理形態(tài)就是那座標志性的大橋……」。這種特征的改變使 Claude 對Golden Gate Bridge產生了近乎癡迷的狀態(tài)，無論遇到什么問題，它都會提到Golden Gate Bridge —— 即使在完全不相關的情況下也是如此。
研究者還發(fā)現了一個在 Claude 讀取詐騙郵件時激活的特征（這可能支持模型識別此類郵件并警告用戶不要回復的能力）。通常情況下，如果有人要求 Claude 生成一封詐騙郵件，它會拒絕這么做。但在人工強烈激活該特征的情況下提出同樣的問題時，這會越過 Claude 的安全訓練，導致它響應并起草一封詐騙郵件。雖然用戶無法以這種方式去除模型的安全保障并操控模型，但在本文實驗中，研究者清楚地展示了特征如何被用來改變模型的行為。
操控這些特征會導致相應的行為變化，這一事實驗證了這些特征不僅僅與輸入文本中的概念相關聯，還因果性地影響模型的行為。換句話說，這些特征很可能是模型內部表征世界的一部分，并在其行為中使用這些表征。
Anthropic 希望從廣義上確保模型的安全，包括從緩解偏見到確保 AI 誠實行動、防止濫用 —— 包括在災難性風險情境中的防護。除了前面提到的詐騙郵件特征外，該研究還發(fā)現了與以下內容對應的特征：
- 可能被濫用的能力（代碼后門、開發(fā)生物武器）
- 不同形式的偏見（性別歧視、關于犯罪的種族主義言論）
- 潛在問題的 AI 行為（追求權力、操控、保密）
該研究之前研究過模型的阿諛奉承行為，即模型傾向于提供符合用戶信念或愿望的響應，而不是真實的響應。在 Sonnet 中，研究者發(fā)現了一個與阿諛奉承的贊美相關的特征，該特征會在包含諸如「你的智慧是毋庸置疑的」輸入時激活。人為地激活這個特征，Sonnet 就會用華麗的欺騙來回應用戶。
不過研究者表示，這項工作實際上才剛剛開始。Anthropic 發(fā)現的特征表征了模型在訓練過程中學到的所有概念的一小部分，并且使用當前的方法找到一整套特征將是成本高昂的。
本文轉自 機器之心 ，作者：機器之心
