大家好，我是肆零柒。今天，我們一起來了解一篇由OPPO AI Agent Team研究的論文。這項工作名為Chain-of-Agents（CoA），它不只是一個新的AI框架，更是一次對"智能體"本質的深刻探索。研究團隊通過多智能體蒸餾和智能體強化學習，成功地將一個由多個專家組成的"智囊團"壓縮進了一個單一的、可端到端優化的基礎模型中，這究竟是如何做到的？讓我們一起了解一下。

一個看似不可能完成的任務

想象這樣一個任務：你需要找出某位匿名博主的第一篇博客發布日期，該博客需滿足多個嚴格條件——博主當時是8年級學生、博客發表于2005-2013年間、內容提及因觀看某部2002-2010年上映的電影而產生焦慮、還提到博主的母親和暗戀對象。想一想，如果你是AI系統，會如何解決這個多條件約束問題？是嘗試一次性搜索所有條件，還是分步解決？你會如何驗證找到的信息是否準確？

傳統方法往往直接構建復雜查詢："anonymous blog first posted 8th grade anxiety attack movie review 2005..2013"，期望一次搜索就能找到完美匹配的結果。

然而，這種策略幾乎注定失敗——搜索結果全是關于焦慮障礙和抑郁癥的醫學文章，而非實際博客內容。這種困境正是Chain-of-Agents（CoA）要解決的核心問題。CoA并不是將多個工具簡單串聯起來，而是讓單一模型動態模擬多智能體協作過程，實現真正的端到-end復雜問題解決。下面我們一起深入理解一下CoA如何巧妙破解這類難題，并揭示其背后的技術內核。

Chain-of-Agents的"啊哈時刻"：從失敗到成功的思維轉變

下面，我們跟隨Chain-of-Agents解決這個極具挑戰性的"8年級匿名博客"任務，完整體驗其思維歷程：

初始失敗：復雜查詢的陷阱

系統首先嘗試使用復雜查詢直接搜索（Step 3）：

<web_search>anonymous blog first posted 8th grade anxiety attack movie review 2005..2013</web_search>

結果令人失望——返回的內容全是關于焦慮障礙和抑郁癥的醫學文章，而非實際博客。系統通過自我評估標記為：

information_conflict: Good
tool_effectiveness: Fair
trajectory_monitoring: Fair

這時不妨想想，當搜索結果完全偏離預期時，你會如何調整策略？是稍微簡化查詢，還是徹底重構搜索思路？

深度反思：發現問題根源

在Step 4，系統激活了反思智能體進行深度分析：

Reflection: Most authoritative have a one-year delay in their latest data, providing only estimates for 2022 or 2023, whereas I need actual population change data for the past year. Some third-party websites offer more "real-time" 2024 figures, but their sources are unclear. Many sources only provide a single global population figure, lacking multidimensional data. Therefore, I need to restrict the...

這一反思揭示了關鍵問題：復雜查詢導致搜索結果偏離目標，需要分步重構問題。

策略重構：多步推理

基于反思，系統在Step 5激活計劃智能體，制定了清晰的四步策略：

1. 搜索相關電影名稱

2. 識別可能引起焦慮的電影

3. 查找博客內容

4. 驗證發布日期

在Step 6-15中，系統動態切換搜索智能體和爬取智能體，逐步收集證據：

• 首先識別出《暮光之城》可能是目標電影
• 通過LiveJournal平臺找到具體博客
• 確認博客發布日期為2011年10月23日
• 驗證博主當時是8年級學生

最終在Step 16，系統自信地給出答案：

The anonymous person’s first blog post was dated October 23, 2011. The DVD Talk reviewer mentioned in that post is Scott Weinberg.

關鍵收獲：CoA系統不是簡單地執行預設流程，而是通過反思-規劃-執行-驗證的閉環，動態調整策略。當初始方法失敗時，它能識別問題根源，重構解決方案，這正是人類專家的思維方式。

思考一下：為什么系統在Step 15選擇使用suggested_answer工具而非繼續搜索？這反映了CoA的什么核心能力？答案在于double_check評分機制——當系統確認已收集到所有必要信息（博客日期和影評人姓名），且信息一致性高時，它會果斷停止搜索。這種"知道何時停止"的能力，避免了傳統系統常見的過度搜索問題，也是推理成本降低84.6%的關鍵原因之一。

AFM與傳統多智能體系統(MAS)和工具集成推理(TIR)方法的性能效率對比。AFM在顯著降低推理成本的同時保持了高性能

Chain-of-Agents的臨界點突破：從工程框架到可優化模型

Chain-of-Agents的真正突破不在于單個技術點，而在于它解決了智能體系統發展的"臨界點"問題——如何將多智能體系統的協作優勢內化到單一模型中。

1. 四大范式的對比與CoA的突破

上表：不同智能體范式的對比分析。Chain-of-Agents是唯一同時支持工具集成、端到端執行、多智能體協作和數據驅動優化的范式。

通過對比上表中的數據，我們可以清晰看到CoA的突破性優勢：它不僅繼承了多智能體系統的協作優勢，還解決了傳統多智能體系統面臨的計算效率低、無法端到端優化等問題。

2. TIR與CoA的本質區別

TIR與CoA范式的對比示意圖。TIR采用靜態的"思考-行動-觀察"工作流，而CoA支持可由多智能體系統建模的任何工作流，支持更多樣化的角色扮演智能體和工具智能體

在技術內核深度解析部分，我們可以看到Chain-of-Agents的狀態轉換模型可表示為：

為什么這很重要？ 這個看似抽象的數學表達解決了傳統多智能體系統的核心痛點——上下文斷裂。在傳統系統中，每個智能體只能看到有限上下文，導致"工具協調困境"；而CoA通過維護持久推理狀態，使后續智能體能夠基于完整歷史進行決策，如同人類專家在解決問題時不斷更新自己的"思維筆記"。

在"8年級匿名博客"案例中，當系統從Step 3的失敗中學習后，狀態記錄了"復雜查詢不可行"的關鍵洞察，這直接影響了Step 4的策略調整。如果沒有這種狀態持續性，系統可能會在每次工具調用后"忘記"之前的教訓，重復同樣的錯誤。

實際價值：這正是CoA能夠將推理成本降低84.6%的關鍵技術基礎——避免了傳統多智能體系統中因上下文分割而導致的重復溝通和信息丟失。

技術內核深度解析：讓單一模型學會多智能體協作

Chain-of-Agents的技術突破在于它讓單一模型能夠模擬多智能體協作過程，而無需依賴復雜的外部框架。讓我們深入理解其技術內核，并將每個技術點與實際案例關聯。

多智能體蒸餾框架

提出的多智能體蒸餾框架示意圖，該框架使用最先進的多智能體系統（如OAgents）合成Chain-of-Agents軌跡

多智能體知識蒸餾是CoA的核心技術。研究團隊利用OAgents（最先進的開源多智能體系統）來提取Chain-of-Agents軌跡，通過監控其執行過程，記錄每個智能體的激活、推理狀態和輸出。這種方法將序列級知識蒸餾原則擴展到多智能體領域，捕獲專家多智能體系統的完整執行軌跡，而非僅僅是單詞級分布。

訓練框架概述。(I) SFT階段使用重新格式化的ReAct數據（包含短鏈和長鏈思維）進行冷啟動。(II) RL階段在未使用的QA對上執行工具感知rollouts并優化策略。 

在"8年級匿名博客"案例中，我們看到：

• 當初始搜索失敗時，系統自動激活反思智能體進行策略評估
• 確定新策略后，系統激活計劃智能體生成分步執行計劃
• 執行過程中，系統動態切換搜索智能體和爬取智能體

這種動態角色切換是傳統單智能體系統無法實現的。"Chain-of-Agents中的多智能體協作并非簡單的平等協作，而是存在明確的層次結構。思考智能體(Thinking Agent)作為'元控制器'，負責整體協調；計劃智能體(Plan Agent)和反思智能體(Reflection Agent)構成中層決策層；而工具智能體則位于執行層。"

觀察掩碼損失：從噪聲中提取關鍵信息

觀察掩碼損失(Observation Masking Loss)是CoA訓練中的關鍵技術，它使模型學會區分可靠信息與噪聲。在案例中，當系統爬取LiveJournal頁面時，返回了大量無關鏈接（如"[FAQ] (URL)"和"[Site Map] (URL)"），觀察掩碼損失幫助模型忽略這些噪聲，專注于提取"October 23, 2011"這樣的關鍵日期信息。

實際價值：沒有這一機制，系統可能會被環境噪聲誤導，導致推理路徑偏離。正是這種從噪聲中提取信號的能力，使CoA在真實世界任務中表現出色。

性能優勢的直觀解讀：數據背后的真相

Chain-of-Agents的優勢不僅體現在理論層面，更在實證研究中得到驗證。讓我們深度理解一下關鍵性能數據，理解CoA為何是智能體技術的重要突破。

GAIA基準測試：復雜任務上的優勢

AFM與最先進的工具集成推理(TIR)方法在GAIA、BrowseComp、HLE和AIME25基準測試中的性能對比。AFM在網頁智能體和代碼智能體基準測試中均表現出一致的有效性

上圖展示了Chain-of-Agents的突破性價值。觀察GAIA基準測試中不同難度級別的表現：

• Level 1任務（基本任務）：AFM-RL (7B) 達到53.8%，超過了WebThinker-RL (QwQ-32B)的53.8%（持平），顯著優于WebDancer的46.1%
• Level 2任務（中等難度）：AFM-RL (7B) 達到32.7%，雖略低于WebThinker-RL的44.2%，但優于WebDancer的30.7%

性能躍遷：AFM 在多項高難度的網頁智能體基準測試中刷新 Pass@1 成績，達到新的 SOTA：GAIA 55.3%，BrowseComp 11.1%，HLE 18.0%。與WebSailor相比，AFM在GAIA測試中高出2.1個百分點（55.3% vs 53.2%），在BrowseComp上高出0.6個百分點（11.1% vs 10.5%），在HLE上高出2.2個百分點（18.0% vs 15.8%）。這些看似微小的差距，實際上代表了智能體技術的重要進步。

從實驗室到實際應用

Chain-of-Agents的出現不僅是技術上的突破，更為智能體技術的發展開辟了新方向。

1. 多智能體蒸餾的擴展與優化

當前的多智能體蒸餾框架主要關注任務執行軌跡，未來可能擴展至：

• 情感與風格蒸餾：不僅學習如何解決問題，還學習專家的表達風格和決策偏好
• 跨領域蒸餾：將特定領域的專業知識（如醫學、法律）更有效地遷移到通用智能體中
• 人類反饋整合：結合人類專家的實時反饋，進一步優化蒸餾過程

研究團隊將所有代碼、數據和模型完全開源的決定，為智能體模型和agentic RL研究提供了堅實起點。 這一開放態度將加速這些擴展方向的研究。

2. 智能體強化學習的進階

未來的agentic RL可能在以下方向取得突破：

• 更精細的獎勵設計：針對不同任務類型設計差異化的獎勵函數
• 長期規劃能力：增強模型在超長推理鏈中的保持能力
• 不確定性感知：讓模型能夠識別自身知識的邊界，避免過度自信

研究還提到了RL訓練過程中的關鍵觀察：在代碼智能體的強化學習訓練過程中，研究團隊持續跟蹤訓練獎勵與回復長度的變化趨勢。隨著訓練步數增加，模型逐步學會更高效的解題策略：既壓縮了冗余的冗長輸出，又顯著提升了任務完成率。

這種優化過程表明，agentic RL能夠有效引導模型發展出更精煉、更有效的推理路徑。

3. 未見智能體的泛化能力

AFM展示了出色的未見智能體泛化能力：盡管在訓練時僅接觸過Python解釋器，但模型能夠正確編排Web搜索等未見過的工具。在GAIA測試集上的零樣本評估中，模型能夠嚴格遵循提示指定的格式，展示了強大的泛化能力。

在"Chain-of-Agents"框架下，研究者評估了模型的零樣本智能體泛化能力。訓練階段，代碼智能體模型僅接觸過由 Python 解釋器執行的代碼與數學任務，從未見過網頁搜索、視覺檢測等工具智能體。推理時，將完整的工具描述和調用格式顯式寫進提示，并以 GAIA 測試集作為任務基準。結果顯示，代碼智能體嚴格遵循提示中的格式要求，并能夠正確調用這些從未見過的工具。

這種泛化能力如何應用于實際場景？例如，在企業環境中，新工具可能隨時加入系統。AFM的泛化能力意味著：

• 無需重新訓練即可支持新工具
• 能夠理解工具之間的邏輯關系
• 可以根據任務需求智能組合不同工具

這種能力對于構建靈活、可擴展的企業級智能體系統至關重要。

如何有效應用Chain-of-Agents

對于希望應用Agent Foundation Models（AFM）的開發者，以下是一些實用建議：

1. 系統環境配置：確保安全執行

研究中使用nsjail提供了細粒度的資源限制，對AFM模型設置了5秒CPU時間上限和5GB內存限制，以確保受控執行。這種安全機制對于防止惡意代碼執行和資源濫用至關重要。

重要提示：在部署代碼生成智能體時，務必實施嚴格的沙盒環境，限制執行時間和內存使用，避免潛在的安全風險。

2. 推理服務搭建：支持動態角色切換

API設計應充分考慮Chain-of-Agents的多智能體特性，支持動態角色切換和工具調用。性能優化方面，可以利用AFM顯著降低的token消耗優勢，在保持性能的同時大幅減少計算資源需求。

重要提示：設計API時，應允許客戶端指定可用工具集，并提供清晰的錯誤反饋機制，幫助模型在工具調用失敗時進行有效調整。

3. 工具協調難題解決

通過設計雙向搜索與代碼工具交互機制，提升復雜任務處理能力。例如，在處理需要驗證的數據時，讓搜索工具的結果直接作為代碼工具的輸入，實現工具間的無縫協作。

注意：當構建需要多工具協作的任務時，明確設計工具間的輸入輸出接口，確保信息能夠流暢傳遞。例如，搜索結果應以結構化格式提供，便于代碼工具直接處理。

"Chain-of-Agents的自我評估機制是其卓越性能的核心。通過information_conflict、tool_effectiveness和trajectory_monitoring三大評估指標，系統能夠實時監控推理過程質量，并據此進行動態調整。"

隨著研究團隊將所有代碼、數據和模型完全開源，我們可能會看到更多基于CoA范式的創新應用，在深度研究、vibe coding和數學推理等復雜任務中發揮更大作用。總體而言，Chain-of-Agents不僅解決了工具協調困境和多智能體轉移困境，還大幅提升了系統效率和問題解決能力。這一思路可能為未來AI系統的設計提供新的靈感和方向，讓智能體進化的更加高效、靈活和強大。