對于人工智能，有一個話題總會時而冒出來：「AI 是否或能否具有自我意識」？對于這個問題，目前還沒人能給出非常確切的答案，但近日 Chandar Research Lab 和 Mila - 魁北克人工智能研究所等機構(gòu)的一項研究卻揭開了這神秘問題的一角。

他們發(fā)現(xiàn)，大型語言模型（LLM）有自知之明，也就是說，只要規(guī)模夠大，它們就能夠知道自己對某個主題的了解程度。該論文中寫到：「雖然不同架構(gòu)涌現(xiàn)這種能力的速率不同，但結(jié)果表明，知識意識（awareness of knowledge）可能是 LLM 的一個普遍屬性。」

• 論文標(biāo)題：Do Large Language Models Know How Much They Know?
• 論文地址：https://arxiv.org/pdf/2502.19573

方法

那么，該團隊是如何發(fā)現(xiàn)這一點的呢？很容易想見，這個研究問題的核心在于分析了解模型記憶和回想信息的能力。為了避免現(xiàn)有數(shù)據(jù)的影響，該團隊生成了一些新數(shù)據(jù)，從而可以確保模型在預(yù)訓(xùn)練階段從未見過這些數(shù)據(jù)，由此防止結(jié)果被污染。

本質(zhì)上講，該方法包含三個階段：

• 生成訓(xùn)練文檔；（這里采用了日記作者的日記文檔設(shè)定）
• 使用其預(yù)訓(xùn)練目標(biāo)來微調(diào)語言模型，讓其記住這些文檔；
• 測試語言模型回憶所有相關(guān)文檔的能力。

有關(guān)這些階段的詳細(xì)過程，請參閱原論文，這里我們更關(guān)注其得到的結(jié)果。

實驗結(jié)果：LLM 有自知之明

實驗中，該團隊使用了兩種類型的多個不同參數(shù)量的模型：

• 僅解碼器模型：OPT（7M 到 2.7B）和 OPT（7M 到 2.7B）；
• 編碼器 - 解碼器模型：Flan-T5（80M to 3B）。

架構(gòu)和規(guī)模的影響

首先，該團隊評估了架構(gòu)、模型大小和數(shù)據(jù)集大小對性能的影響。結(jié)果見圖 2，其中橫軸表示模型大小，縱軸表示正確回答問題的百分比。圖上的每條線對應(yīng)于一個特定的架構(gòu)（例如 OPT），從最小到最大的模型，并在一個特定的數(shù)據(jù)集大小上進(jìn)行了訓(xùn)練。

對于 OPT 模型，可以觀察到一個總體趨勢：隨著模型大小和數(shù)據(jù)集規(guī)模增長，性能會提高。從由 7M 參數(shù)組成的最小變體開始，性能最初會隨著數(shù)據(jù)集的擴大而提高，在 4K 個日記作者時達(dá)到峰值。但是，超過此閾值后，數(shù)據(jù)集的進(jìn)一步擴展會導(dǎo)致性能下降。實驗結(jié)果的這種模式表明，雖然更大的數(shù)據(jù)集可以增強泛化能力，但也會讓模型的容量飽和，從而導(dǎo)致收益遞減甚至效果下降。

相比之下，125M 參數(shù)的 OPT 模型表現(xiàn)明顯不同。該模型足夠大，即使數(shù)據(jù)集大小增加到最大測試值（64K 日記作者），性能也會持續(xù)提升。

此外，在保持?jǐn)?shù)據(jù)集大小不變的情況下，增加模型大小通常可以帶來性能提升。

Pythia 模型表現(xiàn)出了與 OPT 模型類似的趨勢：隨著模型大小和數(shù)據(jù)集大小的增加，性能會提高。

然而，在比較這兩種架構(gòu)時，出現(xiàn)了一個有趣的區(qū)別：OPT 模型的性能提升比 Pythia 更快出現(xiàn)。具體而言，在這里最大的數(shù)據(jù)集上訓(xùn)練時，125M 參數(shù)的 OPT 模型明顯優(yōu)于 160M 參數(shù)的 Pythia 模型。這種差異表明，所研究的能力出現(xiàn)的速度取決于底層模型架構(gòu)的差異。

最后，與其他架構(gòu)相比，F(xiàn)lan-T5 模型表現(xiàn)出了獨特的模式。在最小的數(shù)據(jù)集上，僅增加模型大小不會帶來任何明顯的改進(jìn)。性能提升僅在 783M 參數(shù)時才開始出現(xiàn)，即使如此，也只有在兩個最大的數(shù)據(jù)集上訓(xùn)練時才會出現(xiàn)。

該團隊也談到了這個實驗的局限性：「由于計算限制，我們無法在我們最大的數(shù)據(jù)集上測試具有 2.8B 參數(shù)的最大 Flan-T5 模型。然而，總體結(jié)果表明，這種能力確實會在足夠規(guī)模下涌現(xiàn) —— 盡管其發(fā)展速度因模型架構(gòu)而有不同。」

分布式信息的影響

他們還使用一組更加簡單的設(shè)置，訓(xùn)練了另外一組模型，并比較了它們的性能。

具體來說，這一組模型是在相同的數(shù)據(jù)集上進(jìn)行訓(xùn)練的，但同一個人撰寫的所有日記條目都會被合并到單個訓(xùn)練文檔中，而不是每個條目都是一個單獨的文檔。

這種方法相當(dāng)于直接在答案上訓(xùn)練模型，要求它們簡單地記憶和回憶單個文檔。

這兩種設(shè)置之間的性能差異表明：處理分散在多個訓(xùn)練文檔中的信息時，還會有額外的難度。這種分布式情況可能會影響信息在模型參數(shù)中的存儲方式，可能會使模型在信息更分散時更難整合信息。

圖 2 中以虛線展示了使用這種更簡單設(shè)置訓(xùn)練的模型結(jié)果。在所有情況下，與使用分布式設(shè)置訓(xùn)練的相同基礎(chǔ)模型相比，這些模型都有顯著的性能提升。有趣的是，所有 Flan-T5 模型在這種簡化設(shè)置下都實現(xiàn)了近乎完美的準(zhǔn)確度，而 OPT 和 Pythia 模型則沒有，不過它們的表現(xiàn)也不錯并且會隨著規(guī)模的擴大而不斷改進(jìn)。

圖 3 中提供了清晰的可視化，可以更好地說明兩種設(shè)置之間的性能差距。其中，縱軸給出了「簡化」設(shè)置和「標(biāo)準(zhǔn)」設(shè)置之間的準(zhǔn)確度差距。

對于 OPT 模型，隨著數(shù)據(jù)集大小的增加，差距會縮小，最小的模型除外。對于 Pythia ，似乎只有在足夠大的數(shù)據(jù)集上訓(xùn)練更大模型，這個差距才會縮小。對于 Flan-T5，除了在最大數(shù)據(jù)集上訓(xùn)練的 780M 參數(shù)模型外，隨著數(shù)據(jù)集和模型規(guī)模的擴大，性能差距幾乎沒有縮小。

目前尚不清楚為什么 Flan-T5 模型在更簡單的設(shè)置中表現(xiàn)如此出色，但在標(biāo)準(zhǔn)設(shè)置中表現(xiàn)如此糟糕。鑒于該模型在前一種情況下具有近乎完美的準(zhǔn)確性，其在后一種情況下的糟糕表現(xiàn)不能歸因于方法論問題，因為兩種情況下的過程是相同的。唯一的區(qū)別是，在后一種情況下，模型必須從多個文檔而不是單個文檔中回憶信息。因此，該模型可能在這方面存在問題。

對于所有模型，研究者暫時無法確定它們在兩種設(shè)置中的表現(xiàn)是否會隨著規(guī)模的擴大而繼續(xù)提高，以及差距是否會最終消失。

文檔數(shù)量的影響

該團隊研究了要合并和回憶的文檔數(shù)量對模型性能的影響。

圖 4 報告了按目標(biāo)答案中的文檔數(shù)量分組的準(zhǔn)確度（橫軸）。線條顏色表示模型大小。為了保持清晰度，這里僅給出在 8K 日記作者數(shù)據(jù)集上訓(xùn)練的模型的性能，因為在其上觀察到的趨勢與其他數(shù)據(jù)集一致。

令人驚訝的是，當(dāng)需要回憶更多日記條目時，模型并沒有表現(xiàn)出性能下降。鑒于要生成的內(nèi)容增加，人們可能會預(yù)期模型答案中出現(xiàn)錯誤的可能性會更高。然而，這一觀察結(jié)果可能歸因于模型的容量足夠，并且只有在回憶更多數(shù)量的文檔時才可能出現(xiàn)性能下降。

為了更深入地了解模型行為，該團隊還分析了模型回憶的文檔數(shù)量與目標(biāo)文檔數(shù)量的比較（圖 5 和 6）。

對于在 8K 日記作者數(shù)據(jù)集上訓(xùn)練的 OPT 和 Pythia 模型，較小的模型似乎可以回憶起隨機數(shù)量的文檔。然而，隨著模型規(guī)模的增加，準(zhǔn)確確定要回憶的適當(dāng)文檔數(shù)量的能力會逐漸顯現(xiàn)。

相比之下，無論模型規(guī)模如何，在相同的 8K 日記作者數(shù)據(jù)集上訓(xùn)練的 Flan-T5 模型則會始終檢索看似隨機數(shù)量的文檔。有趣的是，當(dāng)擴展到 32K 日記作者的數(shù)據(jù)集時，F(xiàn)lan-T5 會表現(xiàn)出與 OPT 和 Pythia 類似的模式 —— 隨著模型規(guī)模的增加，識別應(yīng)回憶多少文檔的能力會逐漸顯現(xiàn)。

更多具體的實驗數(shù)據(jù)請參看原論文。

綜合分析

深挖前面的實驗觀察，可以看到這些模型的能力所在與失敗之處，包括：

• 當(dāng)規(guī)模足夠大時，模型回憶的文檔通常長度正確且沒有錯誤。
• 在簡化設(shè)置下訓(xùn)練的模型成功地回憶起了單個訓(xùn)練文檔中的信息。因此，關(guān)鍵似乎不在于回憶的文檔的內(nèi)容，而在于回憶的文檔數(shù)量。
• 如果規(guī)模不合適，模型似乎無法回憶正確數(shù)量的文檔，而是會回憶隨機數(shù)量的文檔。
• 最小的 Pythia 模型如果從隨機權(quán)重而不是預(yù)訓(xùn)練權(quán)重開始進(jìn)行微調(diào)，其性能會更好，這表明預(yù)訓(xùn)練權(quán)重的糟糕表現(xiàn)不能完全歸因于架構(gòu)原因。相反，問題部分在于預(yù)訓(xùn)練權(quán)重未能學(xué)習(xí)到一種可以泛化到回憶正確數(shù)量文檔問題的解決方案，而不僅僅是記住訓(xùn)練樣本。

關(guān)于 Flan-T5，考慮到從頭開始微調(diào)的最小模型的性能與從預(yù)訓(xùn)練權(quán)重微調(diào)的模型一樣差，性能不佳的根本原因可能是架構(gòu)或超參數(shù)設(shè)置不對。

此外，模型的大小似乎會影響其性能。由于 Flan-T5 采用編碼器 - 解碼器架構(gòu)，與 OPT 和 Pythia 等模型的僅解碼器結(jié)構(gòu)不同，其參數(shù)在編碼器和解碼器之間大致相等。因此，第二大 Flan-T5 模型的解碼器大小與第三小 Pythia 模型的解碼器大小相當(dāng)，這與 Pythia 性能開始提高的點相吻合（如圖 2 所示）。Pythia 系列模型中小于此閾值的模型沒有表現(xiàn)出顯著的性能提升。然而，最小的 Pythia 模型在從頭開始訓(xùn)練時，在類似條件下的表現(xiàn)優(yōu)于 Flan-T5。這凸顯出架構(gòu)因素可能會阻礙相同大小模型的能力的涌現(xiàn)。

至于規(guī)模，該團隊的假設(shè)是較小的模型缺乏開發(fā)執(zhí)行此任務(wù)所需回路的能力，但要了解這些較小模型面臨的挑戰(zhàn)，還需要進(jìn)一步的研究。

整體來說，這項研究證明了足夠規(guī)模的 LLM 確實具有知識意識（awareness of knowledge），即能夠知曉自己的知識范圍。你認(rèn)為這是否暗示了 LLM 存在自我意識呢？