1. 為什么要提出ScaleMCP

隨著大型語言模型（LLMs）與工具學習技術的突飛猛進，智能體已能動態對接各類外部工具與API。

1.1 MCP協議的誕生

模型上下文協議（MCP）的誕生，為LLM與外部工具、數據源及提示詞建立了標準化橋梁。MCP是由Anthropic推出的一項開放協議，為大型語言模型（LLM）與外部工具、數據及提示的交互提供標準化框架。

開發者可借助MCP服務器開放工具與數據接口，或開發連接這些服務的AI應用（MCP客戶端），大幅降低AI系統獲取外部資源的復雜度。

MCP也存在潛在的安全隱患，包括惡意代碼注入、越權訪問、憑證泄露及鑒權缺陷等。當前協議暫不支持無服務器架構，因其依賴客戶端-服務器的有狀態通信，但實時推送與采樣功能頗具優勢。

MCP已成為LLM智能體工具鏈的事實標準，OpenAI、Google等模型巨頭與Cursor、Cline等AI平臺均已全面接入。

1.2 LLM調用工具

大型語言模型天然存在工具調用數量的硬性約束。過多的工具組合的復雜調用邏輯會削弱模型的決策能力，而OpenAI等廠商的API限制（單次最多128個工具）更是雪上加霜。

為此，有研究創新性地采用了無需Finetune的RAG方案，通過向量數據庫動態加載所需工具。更智能的代理式RAG則賦予LLM自主搜索能力，徹底顛覆了傳統靜態檢索模式。

早期GPT模型對這種動態檢索的適配性欠佳。直接使用廠商預置嵌入（如OpenAI）效果有限，需針對性優化檢索器。當前工具檢索技術百花齊放，既有經典關鍵詞匹配，也有新興的向量圖譜融合方案。

當前主流LLM工具調用機制包括：

• MOLoRA架構
• 高效樹狀方法
• 多智能體協同構建的工具-指令數據集

1.3 現有LLM調用工具的局限

盡管現有研究在工具選擇與LLM調用方面取得進展，仍存在三大瓶頸：

• 其一，現行框架尚未將MCP納入工具選擇體系；
• 其二，當前方案依賴人工維護單一工具庫，通過手動更新保持工具定義與存儲系統的同步，這種模式不僅容易出錯，還存在代碼冗余；
• 其三，現有方法將工具選擇與LLM調用流程割裂，既制約了智能體的自主性，也無法支持多輪對話中的動態工具檢索。

普華永道提出ScaleMCP創新方案，通過自動同步的MCP工具存儲系統，實現智能體在多輪交互中動態發現并裝備工具。該系統以MCP服務器為唯一信源，采用CRUD機制自動同步更新。

2. 什么是ScaleMCP？

2.1 ScaleMCP架構

ScaleMCP：一種面向MCP服務器（工具）的LLM智能體工具選擇創新方案，其核心包含自動同步的工具存儲索引系統，以及賦予智能體自主調用權限的現代RAG架構。

ScaleMCP自動索引Pipeline與LLM智能體調用機制。自動同步工具索引管道會讀取當前作為唯一事實來源（single source of truth）的MCP服務器工具，將其哈希值與MCP存儲系統的哈希值進行比對，并對存儲索引執行增刪改查（CRUD）操作。

在LLM智能體調用流程中，當用戶提出問題后，LLM智能體會并行調用5次"MCP檢索工具"（每次針對一個目標檢索工具），將相關的MCP服務器（工具）整合至上下文環境。在檢索到相關MCP后，LLM智能體決定并行調用5個MCP服務器，各MCP服務器將返回工具響應。最終，LLM智能體通過對MCP服務器響應的推理分析，向用戶返回成功的最終答案。

借助LLM原生函數調用能力，ScaleMCP使智能體能夠自如調度數千個MCP服務器，其底層工具庫會實時自動同步可用服務資源，實現工具生態的智能自治。

2.2 ScaleMCP自動同步索引Pipeline

工具存儲方案可靈活適配不同應用場景：

• 向量數據庫與向量檢索最為常見
• 圖數據庫
• 混合圖RAG方案
• 傳統詞條匹配

例如，獨立部署的MCP服務器適合采用可彈性擴展的向量數據庫；存在拓撲關聯的MCP集群則可通過圖數據庫維護依賴關系。

ScaleMCP通過智能同步管道實現動態索引更新，以MCP服務器為權威數據源，自動感知工具庫的增刪改操作。

系統會全量獲取MCP工具特征，基于名稱、描述、參數生成SHA-256哈希指紋。通過比對新舊哈希值實現增量更新：匹配則保持現狀，失配則采用存儲適配器（如向量嵌入函數、圖結構構建器或詞條索引器）完成數據遷移，其中向量嵌入可選TDWA算法。

2.3 ScaleMCP大模型調用方案

為實現大模型調用時的彈性工具選擇，為智能體配備了專屬MCP檢索工具，使其通過關鍵詞精準定位目標服務器。

、

如上圖所示（案例中該工具被調用5次，分別輸入5組上市公司凈利相關關鍵詞），系統會自動將匹配的MCP服務器加載至模型上下文，并通過函數調用實現所述的工具綁定。

智能體識別新工具后，可并行發起調用獲取響應，最終整合多路反饋生成用戶答案。

該設計的精妙之處在于：當首次檢索未果時，智能體會自主發起重試；還能智能管理多輪對話的工具記憶，動態判斷何時需要新增服務器。MCP服務器的核心價值，在于其標準化的調用協議和豐富的生態連接能力。

3. 效果評估

3.1 數據集構建

為驗證ScaleMCP的性能，構建了包含5000家企業財務指標MCP服務器的大規模真實數據集，并配套了用戶查詢及預期工具調用的測試實例。該數據集既能逼真模擬智能體與工具的財務指標交互場景，又兼具成本效益與可復現性優勢。

3.1.1 工具構建

我們以財富1000強企業為基礎，為每家公司定制了五款標準化工具：

• 實時股價查詢
• 歷史股價追蹤
• 分析師目標價獲取
• 營收數據查詢
• 凈利潤統計

基于開源的yfinance Python庫實現這套工具集。該API僅限學術研究使用，不適用于商業場景。所有工具均通過程序化模板自動生成，其名稱、描述和參數結構均采用公司名稱、股票代碼等元數據智能填充。

工具開發全程未使用大語言模型。通過fast-mcp開源框架，部署了5000個符合MCP標準的服務節點。

3.1.2 工具文檔增強

為優化工具在向量空間的表征效果，采用LLM為每類工具生成0-10個自然語言問句模板。通過替換公司名稱、股票代碼等變量，在保持語義一致性的前提下，創造出多樣化的查詢表達。這種文檔增強策略有效模擬了真實場景中的用戶查詢模式，顯著提升了密集檢索和結果排序的適配性。

3.1.3 用戶查詢實例生成

除工具文檔內置的合成問題外，還專門設計了一套獨立用戶查詢來評估檢索效果與智能體推理能力。這些查詢雖參照工具模板設計，但更貼近真實用戶提問場景，常包含隱含邏輯或多步推理需求。

采用集約化生成策略——每個工具生成約100個基礎查詢模板，再適配到全部1000家企業，在保證評估集規模與多樣性的同時，顯著降低了LLM推理成本。最終構建的14萬條查詢實例，全面覆蓋了不同企業、工具及表達方式下的各類財務場景。

3.2 MCP向量數據庫檢索效果

估了五種嵌入模型（包括OpenAI和Amazon等主流方案）在MCP工具文檔檢索中的表現。基于5,000臺MCP服務器的數據集，采用拼接存儲策略測試六種搜索配置：從純向量搜索到基于GPT-4o的智能重排序。通過調整合成問題數量（0/5/10）并測量K=1/5/10時的核心指標，最終聚焦K=5和三種代表性模型展示關鍵發現。

3.2.1 結果精要

• 向量檢索遇挫：所有模型MAP（Mean Average Precision，平均精度均值）值僅0.5左右，印證多跳查詢中單一向量難以兼顧多重工具意圖的固有缺陷
• 重排序破局：Cohere交叉編碼器提升顯著，GPT-4o+VertexAI組合創下0.94召回率紀錄
• 數據增強有效：嵌入10個合成問題的配置持續提升各方案表現

3.2.2 深度洞察

傳統向量檢索在多跳場景的"近視"問題凸顯——當單個查詢涉及3-12個關聯工具（如"營收+凈利潤"）時，單一向量如同管中窺豹。這催生了ScaleMCP框架的創新設計：

• 智能體賦能：通過分解查詢+迭代檢索的"分而治之"策略突破瓶頸
• 效能權衡：LLM重排序雖效果拔群（如Claude方案MAP@10達0.59），但計算成本高昂
• 未來方向：探索ScaleMCP動態檢索能否以"輕量化"實現媲美重排序的精度

3.3 智能體能力評估實驗

基于DeepEval框架，對10款大語言模型智能體在工具檢索與調用任務中的端到端表現進行全面測評。參測模型包括OpenAI家族的gpt-4.1、gpt-4o、gpt-4o-mini、gpt-o4-mini，以及Anthropic的Claude 3.7 Sonnet。

測試采用三種檢索方案：

• BM25文本檢索基準
• TDWA（Tool Document Weighted Average）向量搜索
• 結合Cohere reranker(v3-english)的向量搜索增強方案

實驗固定檢索量k=5，通過OpenAI標準函數調用接口傳遞檢索結果。工具索引采用實驗一最優配置：TDWA(var-2)方案配合每個工具10個合成問題，嵌入模型選用OpenAI text-embedding-3-large。

上表展示了k=5時采用串聯策略的智能體表現，其中"向量搜索+Cohere重排"方案使用v3-english版重排器。

工具正確率：評估智能體是否精準調用工具、輸入參數有效且正確解析輸出。

任務完成度：則衡量最終響應是否滿足用戶需求，通過預期與實際輸出的匹配度計算，反映整體解決方案的有效性。

3.3.1 核心結果

上表對比了6款代表模型在三種檢索模式下的表現：

• gpt-o3在增強檢索方案下斬獲94.4%的任務完成率，雖工具正確率僅36.1%，但展現出色的結果生成能力
• gpt-4o-mini以54.0%工具正確率和86.7%任務完成率實現最佳平衡
• 大模型gpt-4.1/gpt-4o表現穩健，Claude 3.7 Sonnet工具正確率墊底（23.1%）
• 重排方案使多數模型任務完成率突破80%，但工具正確率普遍在23%-54%區間

3.3.2 深度洞察

當前智能體存在"高分低能"現象：在需要推斷12個工具的復雜查詢中，gpt-o3雖達成94.4%任務完成率，但工具正確率僅36.1%；而gpt-4o-mini在兩項指標上更均衡（54.0%/86.7%）。這表明LLM可不依賴精確工具調用就能生成流暢答案。

上表顯示在K=5檢索量下各方案表現（SQ=10），其中TDWA方案采用兩種權重分配：

• var1均衡分配名稱/描述/參數/問題權重
• var2側重問題描述

多跳查詢場景尤其凸顯現有局限——靜態檢索范式（即便搭配Cohere重排器）制約了智能體的迭代推理能力。當前主流的固定上下文窗口和單次調用機制，缺乏動態修正能力。

ScaleMCP框架創新性地引入檢索增強規劃循環，支持智能體多輪工具搜索與策略調整。未來將整合Anthropic的"think"等反思模塊，通過結合主動搜索與審慎推理，提升高風險場景下復雜工具鏈的可靠性與透明度。

3.4 TDWA加權效果測評

3.4.1 測評方案

通過固定每個工具生成10個合成問題(SQ=10)，對比三種文檔存儲策略：

• Concat-直接拼接工具組件
• TDWA var-I-加權系數[0.2,0.2,0.2,0.4]；
• TDWA var-2-加權系數[0.2,0.3,0,0.5]。

權重分配體現各組件在向量嵌入中的影響力：工具名稱(20%)、功能描述(20-30%)、參數結構(0-20%)、合成問題(40-50%)。測試采用稠密向量檢索、BM25及包含Cohere(v3-english)、GPT-4o和Claude 3.7的重排序流程，全部基于OpenAI text-embedding-3-large生成嵌入向量，評估K=1/5/10時的檢索效果。

3.4.2 實驗結果

上表匯總了K=5時的核心數據（完整結果如下表）。

• 基礎向量檢索中，Concat策略的NDCG(0.634)和Recall(0.912)表現最優。
• 但引入重排序后，TDWA var-2在Cohere和Claude模型下展現出競爭力，其重排序后的MAP@5多項指標反超Concat，表明該加權方案能提升大規模候選集的相關性排序質量。
• LLM重排序(GPT-4o/Claude 3.7)始終帶來最大性能提升，其中Claude+Concat組合斬獲最佳NDCG(0.672)和MAP(0.539)，GPT-4o+Concat保持最高Recall(0.912)。

3.4.3 實驗洞察

雖然TDWA在原始檢索中未超越Concat，但這不否定其價值。

• 優勢可能源于數據集特性：包含股票代碼等關鍵詞的工具名稱，與用戶查詢存在天然語義重疊。
• 評估使用的合成查詢與工具內嵌問題采用相同生成方式，可能導致向量空間表征過度擬合。

TDWA的核心優勢在于可精細調控各組件語義權重。TDWA var-2通過弱化參數、強化描述與合成問題的設計，在重排序環節表現亮眼，證明結構化加權能與評分模型形成互補增強。這也揭示合成問題對準確率的突出貢獻。

存儲策略的選擇需結合具體場景：Concat適合標準測試環境，而TDWA在復雜實際場景中更具可解釋性與適應性。后續將探索基于查詢特征動態調整的自適應加權機制，并引入真實用戶查詢進行驗證。

本文轉載自?????大語言模型論文跟蹤?????，作者：HuggingAGI