在人工智能領域，大型語言模型(LLM)代理正成為解決復雜任務的強大工具。這些代理能夠自主執(zhí)行復雜任務，通過交互、推理和決策來解決問題，通常還可以訪問外部工具、記憶或環(huán)境。從深度研究代理到工具增強執(zhí)行系統，再到代碼生成代理，LLM代理在復雜科學和工程任務中展現出強大的能力。

然而，當前的LLM代理通常面臨一個兩難選擇：要么是僵化的靜態(tài)系統，依賴手工制作的反思工作流；要么是計算密集型系統，需要通過梯度更新來微調LLM模型參數。這兩種方法都有明顯的局限性，前者缺乏靈活性，后者則成本高昂且不適合持續(xù)學習和在線學習。

今天，我們要介紹一項突破性研究——Memento: Fine-tuning LLM Agents without Fine-tuning LLMs，這項研究由UCL AI Centre、華為諾亞方舟實驗室等多家機構的研究人員共同完成，提出了一種全新的學習范式，無需微調底層LLMs，就能實現LLM代理的低成本持續(xù)適應。

研究團隊與機構

這項研究由以下機構的研究人員共同完成：

• UCL AI Centre（倫敦大學學院人工智能中心）
• Huawei Noah's Ark Lab, UK（華為諾亞方舟實驗室英國分部）
• Jilin University（吉林大學）
• Institute of Automation, CAS（中國科學院自動化研究所）

論文的主要作者包括Huichi Zhou、Yihang Chen（共同第一作者）、Siyuan Guo、Xue Yan、Kin Hei Lee、Zihan Wang、Ka Yiu Lee、Guchun Zhang、Kun Shao、Linyi Yang（通訊作者）和Jun Wang（通訊作者）。

技術背景：當前LLM代理的困境

目前，LLM代理主要遵循兩種范式，每種都存在根本性局限：

第一種范式是構建具有固定工作流和硬編碼推理的專業(yè)框架。這種方法在狹窄任務上效果良好，但缺乏靈活性。部署后，這類代理是靜態(tài)的：它們既不整合在線信息，也不適應新情況。

第二種范式專注于通過底層LLMs的參數更新（通過監(jiān)督微調或強化學習）來更新LLM本身，這允許更靈活的行為，但計算成本高昂。這些方法對于持續(xù)適應和在線學習效率低下，對于部署在開放場景中的代理來說不切實際。

這引出了一個核心研究挑戰(zhàn)：如何構建能夠從變化的環(huán)境中持續(xù)學習的LLM代理，而無需承擔微調底層LLMs的過高成本？

受人類記憶機制的啟發(fā)，研究人員通過提出基于記憶的學習框架來解決這一挑戰(zhàn)，該框架能夠在不修改底層LLMs的情況下實現持續(xù)適應。人類的表現穩(wěn)步提升，因為每次經歷都會被（i）編碼為情景記憶痕跡，（ii）在睡眠依賴的鞏固過程中提煉為抽象規(guī)則，（iii）通過多巴胺驅動的信用分配選擇性強化，以及（iv）在類似問題出現時通過基于案例或類比的推理來檢索。

Memento方法詳解：基于記憶的馬爾可夫決策過程

Memento是一個非參數的、即時學習的基于案例推理(CBR)框架，實例化為一個基于記憶的馬爾可夫決策過程(MDP)的規(guī)劃器-執(zhí)行器架構。Memento包含三個主要組件：（i）規(guī)劃器，（ii）啟用工具的執(zhí)行器，以及（iii）存儲過去軌跡作為情景記憶的不斷增長的案例庫。

基于記憶的馬爾可夫決策過程(M-MDP)

研究人員將CBR代理的順序決策過程建模為基于記憶的馬爾可夫決策過程(M-MDP)，定義如下：

定義3.1（基于記憶的馬爾可夫決策過程）：一個基于記憶的馬爾可夫決策過程是一個元組???,??,??,?,γ,??，其中??是狀態(tài)空間，??是動作空間，??:??×??→?(??)是轉移動態(tài)，?:??×??→?是獎勵函數，γ∈[0,1)是折扣因子，?=(??×??×?)*是記憶空間。

基于記憶的馬爾可夫決策過程的圖形模型

與標準MDP的關鍵區(qū)別在于，我們引入了一個記憶空間作為過去經驗的集合。在CBR代理設置中，狀態(tài)空間和動作空間都定義為預定義詞匯表??上所有有限長度序列的集合。

在M-MDP框架下，CBR代理的行為可以形式化描述如下：在時間步t，我們維護一個案例庫（即記憶）Mt={ci}Nti=1，每個案例ci是一個元組(si,ai,ri)，Nt是當前案例庫中的案例數量。給定當前狀態(tài)st，CBR代理首先檢索一個案例ct～μ(?∣st,Mt)，然后通過LLM重用和調整它，即at～pLLM(?∣st,ct)。這里μ表示案例檢索策略。執(zhí)行動作at后，CBR代理接收獎勵rt=?(st,at)并觀察下一個狀態(tài)st+1～??(?∣st,at)。CBR代理還將新案例保留在案例庫中，即Mt+1=Mt∪{(st,at,rt)}。

定義3.2（基于案例推理的代理）：基于案例推理的代理是基于當前狀態(tài)和過去經驗的有限記憶做出決策的代理。形式上，令s∈??表示當前狀態(tài)；M∈?表示當前案例庫，由過去案例c組成；a∈??表示動作；μ(c∣s,M)表示案例檢索策略，給定當前狀態(tài)s，在M上分配概率分布；pLLM(a∣s,c)表示大型語言模型(LLM)在給定當前狀態(tài)s和檢索到的案例c∈M的條件下的動作似然。那么，CBR代理的總體策略π定義為：

軟Q學習用于CBR代理

為了優(yōu)化公式(1)中的CBR策略π，我們的目標是在LLM組件pLLM固定的情況下學習案例檢索策略μ。在這種情況下，μ的"動作"是從案例庫M中選擇一個案例c=(s,a,r)。為了優(yōu)化它同時鼓勵檢索案例的多樣性，我們應用最大熵RL框架，并推導出以下優(yōu)化目標：

基于狀態(tài)相似性增強Q學習

如公式(8)所示，我們可以通過TD學習從頭開始學習Q函數。然而，由于自然語言形式的復雜狀態(tài)和案例描述，直接學習Q函數具有挑戰(zhàn)性。為此，我們提出通過基于核的估計來近似Q值，遵循情景控制(EC)算法。具體來說，我們維護一個情景記憶??={(s,c,Q)}，包括每次交互的狀態(tài)、檢索到的案例和Q值。然后，我們通過參數為θ的核網絡kθ(?,?)來近似Q函數：

θθ???θ?

其中??_c={(s_i,c_i,Q_i)∈??:c_i=c}表示情景記憶??中存儲的具有相同檢索案例c的過去交互。通過將公式(9)代入公式(8)，我們可以通過TD學習優(yōu)化核參數θ來學習Q函數，即：

θθγαθ

深度研究代理的實現

研究人員在深度研究場景中實現了通過M-MDP方法學的有狀態(tài)提示工程，其中代理必須通過與環(huán)境迭代交互、調用外部工具、從外部源檢索信息以及處理異構數據進行動態(tài)推理來解決復雜的長期任務。如圖3所示，Memento在兩個核心階段之間交替：基于案例的規(guī)劃和基于工具的執(zhí)行。

圖3：具有參數記憶的Memento架構

框架

為了解決長期推理的挑戰(zhàn)，Memento遵循規(guī)劃-行動范式，其中規(guī)劃器和執(zhí)行器在交替循環(huán)中運行，以迭代推進任務完成。為了有效協調，Memento集成了三個記憶模塊：案例記憶（用于高級規(guī)劃的先前案例的向量化存儲）、子任務記憶（活動子任務及其結果的基于文本的存儲）和工具記憶（每個子任務的工具交互的基于文本的日志）。

在規(guī)劃階段，規(guī)劃器實例化為LLM驅動的CBR代理，接收任務指令并查詢案例記憶以獲取相關案例三元組(si,ai,ri)Ki=1，其中si是任務，ai是計劃，ri表示成功，K是檢索計數。這個過程由案例記憶模塊支持，該模塊通過基于相似性的檢索器或在線更新的Q函數從案例庫中檢索相關經驗，從而使規(guī)劃器能夠利用參數和非參數記憶作為先驗。

檢索到的案例與當前任務指令連接形成提示，指導LLM為每個子任務生成計劃。一旦初始任務被分解，子任務記憶模塊協調規(guī)劃器和執(zhí)行器之間的交互，記錄生成的子任務及其執(zhí)行結果。每次迭代后，規(guī)劃器使用累積的執(zhí)行歷史來評估任務完成情況。如果任務未完成，規(guī)劃器基于更新的上下文重新規(guī)劃；否則，返回最終結果，并且案例記憶僅在任務完成后用新經驗更新。

執(zhí)行階段由執(zhí)行器管理，執(zhí)行器由通用LLM提供動力，負責使用MCP協議將每個子任務作為自主情節(jié)執(zhí)行。與以前的代理不同，Memento的執(zhí)行器支持豐富的推理和靈活的工具組合。對于每個子任務，執(zhí)行器查閱工具記憶，確定適當的工具調用，并更新結果。

案例記憶管理

案例記憶是一個在線增長的案例庫Mt，通過寫入和讀取操作運行，有非參數和參數兩種變體。在非參數設置中，寫入只是附加(st,at,rt)，讀取通過相似性檢索案例以提高計算效率。在參數設置中，寫入還在線更新Q函數以塑造檢索分布，而讀取由學習的Q函數驅動，從而實現自適應案例選擇。

記憶存儲：遵循定義3.2中的CBR代理，寫入操作在每個時間步t之后將每個歷史案例(st,at,rt)附加到案例庫Mt：

工具使用

除了對長任務執(zhí)行序列和多輪交互的固有要求外，深度研究任務還對原子動作提出了嚴格要求，要求代理能夠獲取外部信息，然后處理、整合和分析它。因此，我們?yōu)镸emento設計了一套可通過MCP協議訪問的工具套件，包括信息檢索模塊（如搜索引擎和網絡爬蟲）以及處理和分析多模態(tài)信息（包括視頻和圖像數據以及各種格式的文件）的組件。

外部信息獲取：為了支持需要訪問最新外部知識（如GAIA、BrowseComp）的開放任務，我們設計了一個搜索工具包，集成了檢索和內容獲取能力。具體來說，我們使用searxng，這是一個自托管的元搜索引擎，聚合了Google、Bing、Duckduckgo和Brave等多個來源的結果。然后根據與查詢上下文的語義相似性對檢索到的候選結果進行重新排序，確保相關性和精確性。為了補充這一點，我們集成了Crawl4AI來獲取和解析選定結果的完整網絡內容，當執(zhí)行器需要更深入的理解時。換句話說，搜索工具作為基于用戶查詢中關鍵詞匹配的粗過濾器，而爬蟲作為在必要時從檢索源中提取詳細信息的細粒度機制。

多模態(tài)異構信息處理：為了支持對異構數據源的下游推理，我們實現了一個多功能且細粒度的文檔處理工具包，自動從廣泛的文件類型和模態(tài)中提取信息。例如，圖像使用視覺語言模型(VLM)進行字幕處理；音頻通過自動語音識別進行轉錄；PowerPoint文件逐張幻燈片解析，并嵌入圖像描述；電子表格轉換為可讀的逐行布局；檔案被解包；純文本和代碼文件直接讀??；JSON和XML被解析為結構化對象；Word文檔轉換為Markdown；視頻從VLM接收自然語言摘要。對于PDF或不支持的格式，使用Chunkr AI或純文本解析的后備提取。該工具包為訪問和解釋跨多種文件類型和模態(tài)的內容提供了統一接口，簡化了現實場景中異構數據的處理。

推理：推理和分析工具集集成了代碼執(zhí)行和數學計算，以支持Memento框架內的穩(wěn)健、自動化分析。代碼工具提供了一個沙盒環(huán)境，用于在統一工作區(qū)內編寫、運行和管理代碼。用戶可以創(chuàng)建文件，執(zhí)行shell或Python命令，并檢查輸出——所有這些都在持久任務目錄中。Python腳本針對安全白名單進行驗證，以確保安全執(zhí)行，支持常用庫如numpy、pandas和torch。工作區(qū)在步驟之間保持狀態(tài)，支持迭代開發(fā)。這個代理對于解決數據分析、自動化或動態(tài)代碼生成任務至關重要。補充這一點的是，數學工具處理基本算術運算。

實驗結果

研究人員在四個數據集上評估了Memento的性能，每個數據集代表研究挑戰(zhàn)的一個不同方面：(i)長期工具使用和規(guī)劃(GAIA)，(ii)實時基于網絡的研究(DeepResearcher)，(iii)簡潔的事實準確性(SimpleQA)，以及(iv)人類知識前沿的探索(HLE)。

DeepResearcher結果

我們包含這個數據集來測試實時網絡研究、證據檢索、跨頁面綜合和多跳推理。如表1所示，配備MCP工具（如搜索引擎、瀏覽器）的Memento在七個DeepResearcher基準測試中達到平均66.6%的F1分數，幾乎是CoT+RAG基線37.7% F1的兩倍。這表明實時、在線檢索工具可以與甚至超過精心策劃的靜態(tài)數據庫相媲美。

表1：在七個開放域QA數據集上基于提示、基于訓練和我們方法的性能比較

GAIA（驗證和測試）結果

為了評估在長期規(guī)劃、工具編排和執(zhí)行方面的穩(wěn)健性，我們采用了GAIA基準測試。Memento在驗證集上獲得第一名，在測試集上獲得第四名，優(yōu)于大多數現有的代理框架（表2）。值得注意的是，它在驗證集和測試集上都超過了廣泛使用的開源框架，包括Manus、Aworld和OWL。

對于GAIA驗證評估，我們從零開始初始化記憶，并在三次迭代中迭代地將成功和失敗的軌跡存儲在案例庫中。使用GPT-4.1作為規(guī)劃器，o3作為執(zhí)行器，Memento在驗證集上達到87.88%的準確率。對于GAIA測試集，性能僅基于在驗證期間積累的案例庫，產生79.40%的準確率。盡管Memento表現出強大的整體性能，但對于需要擴展推理視野和高級工具協調的3級任務仍然存在挑戰(zhàn)。

其他基準測試結果

SimpleQA：如圖4所示，Memento在SimpleQA上達到95.0%的PM分數，優(yōu)于所有比較方法，包括WebSailor、WebDancer、WebThinker和Deepseek-r1-React。

**Humanity's Last Exam (HLE)**：在HLE上，Memento達到25.32%的準確率，優(yōu)于GPT-5、Gemini-2.5 Pro、o3-high和o4-mini-high等模型。

圖4：SimpleQA和HLE上的性能表現

消融研究

研究人員還進行了消融研究，以驗證Memento各個組件的貢獻。如圖1(b)所示，沒有CBR的Memento(Memento w/o CBR)在所有基準測試上表現明顯較差，證明了基于案例的推理的重要性。此外，參數記憶(Memento w/ Parametric CBR)通常比非參數記憶(Memento w/ Non-Parametric CBR)表現更好，表明學習的Q函數在案例選擇中的價值。。

結論與意義

Memento代表了一種無需微調底層LLMs就能實現LLM代理持續(xù)學習的新范式。通過基于記憶的在線強化學習，Memento實現了低成本持續(xù)適應，在多個基準測試上取得了最先進的性能。

這項研究的意義在于：

1. 計算效率：避免了微調大型語言模型的高計算成本，使LLM代理能夠在資源受限的環(huán)境中部署和運行。
2. 持續(xù)學習：使代理能夠從經驗中學習并適應新情況，而無需重新訓練整個模型。
3. 可擴展性：案例庫可以隨著時間增長，使代理能夠積累越來越多的專業(yè)知識。
4. 靈活性：代理可以適應各種任務和環(huán)境，從深度研究到代碼生成。

本文轉載自??AIGC深一度??，作者：一度