DeepMind爆火論文：向量嵌入模型存在數學上限，Scaling laws放緩實錘？

2025-09-02 12:04:09

DeepMind 的最新研究為這個爭論提供了新的證據。他們將幾何代數與通信復雜度理論結合，證明了向量嵌入的能力存在一個數學下界：對于任意給定的嵌入維度 d，當文檔數量超過某個臨界點時，總會存在一些相關文檔組合是無論如何都無法通過查詢同時召回的。

這幾天，一篇關于向量嵌入（Vector Embeddings）局限性的論文在 AlphaXiv 上爆火，熱度飆升到了近 9000。

要理解這篇論文的重要性，我們先簡單回顧一下什么是向量嵌入。

向量嵌入就像把文字、圖片或聲音這些復雜的東西，轉化成一個多維空間里的「坐標點」。比如，把「蘋果」這個詞變成一串幾百維的數字，這些數字捕捉了它的語義（它可以指水果，也可以指公司）。在這個空間里，相似的概念彼此靠近，不相似的則遠離。借助這種機制，計算機能夠快速搜索或比較海量數據，而無需逐字逐句地比對。

圖源：veaviate

多年以來，嵌入主要用于「檢索」任務，例如搜索引擎中的相似文檔查找，或推薦系統中的個性化推薦。隨著大模型技術的發展，嵌入的應用開始拓展到推理、指令遵循、編程等更復雜的任務。這些新興需求，推動著嵌入技術朝著能處理任何查詢、任何相關性定義的方向演進。

然而，先前的研究已經指出了向量嵌入的理論局限性。它的本質，是把一個高維度、復雜的概念（比如「愛」，可能包含親情、愛情、友情、奉獻、占有等無數面向）強行壓縮成一串固定長度的向量。這個過程不可避免地丟失信息，就像三維蘋果被拍成二維照片 —— 無論照片多清晰，你都無法從中還原出它的重量、氣味等屬性。

過去幾年，業界普遍認為這種理論困難可以通過更好的訓練數據和更大的模型來克服。這就是過去幾年以 OpenAI 為代表的公司所遵循的「大力出奇跡」（Scaling Laws）的哲學。

從 GPT-2 到 GPT-4，再到 GPT-5，模型參數量和數據量指數級增長，能力也確實發生了質的飛躍。這讓很多人相信，這條路能一直走下去。

然而，當前 AI 圈的一個熱點爭論就是：我們是不是快要撞上「Scaling Laws」的天花板了？

這意味著，嵌入模型存在一個不可逾越的限制，無法單純依靠「更大的模型」來突破。

論文標題：On the Theoretical Limitations of Embedding-Based Retrieval
arXiv 地址：https://arxiv.org/pdf/2508.21038

這一理論瓶頸在現實中最直接的體現，就是檢索增強生成（RAG）。RAG 的工作機制是：先用向量嵌入從知識庫中檢索相關信息，再交給大模型生成答案。但 DeepMind 的證明表明，當知識庫規模足夠大、一個問題需要多份文檔共同回答時，即使采用最先進的嵌入模型，也可能因為維度不足而無法完整召回關鍵信息。這會導致大模型在生成時受到錯誤或不完整上下文的干擾。

為了證明這一理論限制對任何模型或訓練數據都成立，研究者采用了一種「最佳情況」設定，即向量本身是使用測試數據直接進行優化的。實驗發現，對于每個嵌入維度 d 都存在一個臨界點，一旦文檔數量超過該點，嵌入維度就不足以編碼所有的組合。他們還證明了這種臨界關系可以通過一個多項式函數進行經驗性建模。

更進一步，研究者基于這些理論局限性構建了一個名為 LIMIT 的簡單數據集。盡管任務很簡單（例如，「誰喜歡蘋果？」），但即便是 MTEB 基準上最先進的嵌入模型也很難解決這個問題，而對于嵌入維度較小的模型來說則是不可能的。

論文一作、約翰霍普金斯大學博士生 Orion Weller 表示，在當前的信息檢索領域，大家希望嵌入模型能夠同時承擔指令理解和推理等一切能力。遺憾的是，單向量嵌入模型在理論和實證上都做不到，它們存在根本性限制。通過開源的簡單評測任務，他們證實了即便是 SOTA 模型也表現糟糕。

總的來說，這篇工作的貢獻可以總結為以下三點：

為嵌入模型的根本性局限提供了理論基礎；
通過自由的嵌入優化進行最佳情況下的經驗性分析，證明了該理論適用于任何數據集實例；
構建了一個名為 LIMIT 的簡單、真實的自然語言實例，即使是最先進的嵌入模型也無法解決。

這不僅揭示了 RAG 系統在應用上的硬性約束，也讓人重新思考 Scaling Laws 在 AI 發展中的邊界。嵌入的局限，也許正是「加大規模」并非萬能解法的一個縮影。

向量嵌入的表征能力

研究者首先證明了通信復雜性理論中的已知結果在向量嵌入設定下的含義。

理論上限。對于二進制矩陣，逐行排序和逐行閾值化是等價的表征能力概念。

到目前為止，研究者描述的這些概念與矩陣的符號秩密切相關。在本文的其余部分，他們將利用符號秩來建立主要的界限。

將所有這些結合起來就得出了所需的不等式鏈。

研究者表示，在向量嵌入模型的背景下，這為準確捕獲一組檢索目標所需向量的維度提供了上下界，無論是逐行排序、逐行閾值，還是全局閾值。

具體來說，給定某個二進制相關矩陣 A ∈ {0,1}^m×n，至少需要 rank_±(2A ? 1_m×n) ? 1 個維度來精確捕獲 A 中的關系，并且最多需要 rank_±(2A ? 1_m×n) 個維度就能實現。

在實際中，這意味著：

對于任意固定的維度 d，都會存在某個二進制相關矩陣無法通過 d 維嵌入來捕獲，這是因為存在符號秩任意高的矩陣。換句話說，那些 qrel 矩陣具有更高符號秩的檢索任務更難被嵌入模型精確捕獲，需要更高的嵌入維度。
如果能夠在 d 維中以逐行保持順序的方式嵌入某個給定的矩陣 A ∈ {0,1}^m×n，那么這就意味著 2A ? 1_m×n 的符號秩有一個上界。這尤其表明了一種實用機制，可以通過對自由嵌入表示進行梯度下降優化來確定矩陣符號秩的上界。

實證聯系

最佳情況優化

在上文中，研究者已經基于 qrel 矩陣的符號秩及其嵌入維度 d 建立了嵌入模型的理論局限，現在希望在實證層面上也展示這一點。

為了展示可能的最強優化情況，研究者設計了實驗，使得向量本身可以通過梯度下降直接優化。他們稱這種方式為「自由嵌入」優化，嵌入是自由可優化的，不受自然語言的限制，而自然語言會對任何現實的嵌入模型施加約束。因此，這可以展示任意嵌入模型是否有可能解決該問題：如果自由嵌入優化無法解決該問題，那么真實的檢索模型也無法做到。

值得注意的是，研究者是通過直接在目標 qrel 矩陣（測試集）上優化嵌入來實現的。這種方式不會泛化到新的數據集，但其目的是展示可能出現的最高性能。

關于實驗設置，研究者創建一個隨機文檔矩陣（大小為 n）和一個隨機查詢矩陣，其中包含 top-k 集合（所有組合，即大小為），兩者均為單位向量。然后直接使用 Adam 優化器來優化約束條件。每一次梯度更新都對所有正確的三元組進行完整遍歷（即整個數據集作為 batch-size），并使用 InfoNCE 損失函數，其他所有文檔作為批內負樣本（即整個數據集在一個 batch 中）。

由于幾乎所有嵌入模型都使用歸一化向量，研究者也同樣采用這種方式（在更新后進行歸一化）。當損失在 1000 次迭代中沒有改進時，就提前停止。他們逐漸增加文檔數量（因此查詢的組合數也隨之增加），直到優化器無法再解決該問題（即無法達到 100% 的準確率）。研究者將這一點稱為「臨界 n 點」。

由于文檔數較大時組合數量呈現組合爆炸（例如 5 萬個文檔、top-k=100 時會產生 7.7e+311 種組合，這相當于自由嵌入實驗中維度為 d 的查詢向量數量），因此研究者專注于 n、k 和 d 的相對較小規模。研究者設定 k=2，并在每個 d 值下逐次增加 n，直到模型無法解決問題。此外對數據擬合了一條多項式回歸曲線，以便能夠建模并向外推算結果。

結果如下圖 2 所示，該曲線符合三次多項式擬合，其公式為 y = ?10.5322 + 4.0309d + 0.0520d2 + 0.0037d3 （r2=0.999）。將該曲線外推得到的臨界 n 值（對應嵌入維度）分別為：500k（512）、170 萬（768）、400 萬（1024）、1.07 億（3072）、2.5 億（4096）。

需要注意，這只是最佳情況：真實的嵌入模型無法直接優化查詢和文檔向量以匹配測試集的 qrel 矩陣，并且還受到「自然語言建模」等因素的約束。然而，這些數值已經表明，對于網頁級別的搜索，即便是在理想測試集優化下，最大的嵌入維度也不足以建模所有組合。

實證聯系

真實世界數據集

接下來，研究者將（1）該理論與現有數據集建立聯系；（2）為現有 SOTA 模型構建一個極其簡單卻又極度困難的檢索任務。

與以往工作形成對比的是，研究者希望構建的數據集，可以用于評估少量文檔情況下所有 top-k 集合的組合。不同于使用 QUEST、BrowseComp 等復雜的查詢操作符（這些操作本身就因 qrel 矩陣之外的原因而很難），他們選擇了非常簡單的查詢和文檔，以突出表示所有 top-k 集合本身的難度。

LIMIT 數據集

研究者選用 5 萬個文檔，以構建一個既有難度又相對規模較小的語料庫；同時使用 1000 個查詢，以在保證統計顯著性的前提下仍能快速完成評估。

對于每個查詢，研究者選擇關聯兩個相關文檔（即 k=2），這樣做既為了簡化實例化過程，也為了與之前的工作保持一致。接下來是選擇一個 qrel 矩陣來實例化這些屬性，并為查詢分配隨機的自然語言屬性，將這些屬性添加到各自的相關文檔中（參見圖 1）。

研究者測試了所有文檔組合的相關性（對于三個文檔，每個查詢包含兩個相關文檔的所有組合），并通過一個簡單的映射進行實例化。

研究者評估了當前 SOTA 嵌入模型，包括 GritLM、Qwen 3 Embeddings、Promptriever、Gemini Embeddings、Snowflake 的 Arctic Embed Large v2.0 以及 E5-Mistral Instruct，并展示了在完整嵌入維度下的結果以及在截斷嵌入維度（通常用于 matryoshka learning，即 MRL）下的結果。

下圖 3 展示了在完整 LIMIT 上的結果，而下圖 4 展示了在小規模（包含 46 個文檔）版本上的結果。令人驚訝的是，即便任務本身很簡單，模型依然表現極差。在完整設置中，模型甚至難以達到 20% 的 recall@100，而在 46 個文檔的版本中，即使是 recall@20，模型也無法解決該任務。