大家好，我是肆〇柒。今天我想和大家分享一個有趣的研究成果——AGENTSNET，這是一個幫助我們系統評估和改進AI智能體如何協作的新框架（一個 benchmark 基準）。你可能已經體驗過像ChatGPT這樣的單個AI助手，但如果多個AI一起工作，它們能完成什么更復雜的任務？AGENTSNET就是用來測試和改進這種多AI協作能力的"理論化考試系統"。通過這項研究，希望未來的AI團隊能像人類團隊一樣高效協作，形成跨域的 Agent 群體智能。

AGENTSNET Demo

AGENTSNET關鍵發現

• 規模瓶頸：當前最佳模型在100節點網絡中性能接近零
• 任務難度：Vertex Cover是最難任務，最佳模型僅40%成功率
• 規模效應：網絡規模每翻倍，任務成功率平均下降30%
• 失敗模式：智能體常因策略協調延遲和信息過時導致失敗
• 成本效益：Gemini 2.5 Flash性能接近Claude 3.7 Sonnet但成本低約20倍

研究背景：多智能體系統評估的范式轉變

為什么我們需要關注AI之間的協作？

我們不妨假象以下，現在有個聰明的的 AI個人助理，它可以回答你的問題、幫你寫郵件、規劃行程。但如果這個助理還能與其他專業AI協作——比如一個負責數據分析，一個精通法律，一個擅長創意寫作——那么它能解決的問題將遠遠超出單個AI的能力范圍。這就是多智能體協作的魅力所在。

然而，要讓多個AI有效協作并非易事，就像組建一個高效的人類團隊一樣，需要良好的溝通機制和協調能力?，F有基準的局限性顯而易見。當前的多智能體評估框架通常僅覆蓋2-5個智能體，無法真正測試大規模網絡中的協調能力。正如研究指出："現有基準無法評估多智能體系統的核心能力：可擴展協調、去中心化通信和協作推理"。

AGENTSNET的突破性價值在于其可擴展性。與現有基準局限于2-5個智能體不同，AGENTSNET可以擴展到100+智能體的網絡規模。這種可擴展性不僅使其能夠測試當前模型的極限，還為未來更強大的模型預留了評估空間。研究者指出："AGENTSNET實際上不受規模限制，可以隨著新一代LLM的出現而擴展"。這種前瞻性設計可以讓AGENTSNET成為多智能體研究領域的長期基準。

為什么分布式計算理論是評估多智能體協作的黃金標準？

一句話定義：分布式計算理論提供了經過數十年驗證的"協作規則"，這些規則確保大規模系統中的組件能夠有效協同工作。

技術解釋：AGENTSNET基于分布式計算中的LOCAL模型，這是分布式系統理論的核心框架。在LOCAL模型中，每個節點只能與直接鄰居通信，且所有節點同步決策。這種設計精確模擬了真實世界信息傳播的局部性和時延特性——就像人類團隊中，每個人只能與左右鄰座同事交流，而非立即知曉整個團隊的信息。

生活類比：這就像一個大型會議，每個人只能與左右鄰座交流，要達成全體共識需要經過多輪傳遞。LOCAL模型的理論復雜度界限（如Ω(log*n)）為我們提供了評估多智能體系統性能的理論基準。

至此思考一個問題：為什么認為評估多智能體系統需要理論基礎，而非僅靠任務完成度？因為部分正確通常不意味著成功協調。就像在Vertex Cover任務中，多數節點可能偶然選擇了"協調器"，但只有完全正確的解才能滿足任務規范。

方法論創新：AGENTSNET的理論根基

AGENTSNET的核心創新在于將分布式計算中的經典問題轉化為多智能體協調能力的測試任務。研究團隊精心選擇了五個具有堅實理論基礎的問題，每個問題都代表了協調能力的不同維度：

五大核心任務

AGENTSNET任務概覽

上圖清晰展示了AGENTSNET的五大核心任務：在LEADERELECTION中，任務是選擇網絡中的單一領導者；在CONSENSUS中，任務是讓所有智能體就特定值（如0或1）達成一致；在MATCHING中，任務是讓智能體成對組隊而不產生沖突；在COLORING中，任務是讓智能體選擇分組，確保相鄰智能體不在同一組；在VERTEXCOVER中，任務是找到最小的"協調器"智能體組，確保每個智能體至少有一個協調器鄰居。

分布式計算理論問題概覽

上表展示了形成AGENTSNET基礎的分布式計算理論問題，以及它們在隨機化LOCAL模型中的（不一定緊致的）輪次復雜度理論下界。這些理論復雜度為評估多智能體系統提供了客觀基準。

1.Graph Coloring：要求相鄰節點顏色不同，對應多智能體系統中的角色分配問題。

• 技術細節：在AGENTSNET中，智能體需形成預定義數量的組（顏色），任務成功條件是所有相鄰智能體不在同一組。理論復雜度為O(log*n)，這是評估智能體如何避免沖突、分配責任的關鍵任務。
• 實用場景：在多智能體系統中實現無沖突的角色分配，確保直接交互的智能體被分配不同角色，避免功能冗余。

2.Minimal Vertex Cover：要求選擇最少節點覆蓋所有邊，對應選擇關鍵"協調器"智能體。

• 技術細節：在AGENTSNET中，智能體需決定是否成為協調器（"Yes"或"No"），任務成功條件是所選協調器形成最小頂點覆蓋。該任務特別考驗智能體識別"緊湊且高效"節點集的能力，理論復雜度為Ω(log*n)。
• 實用價值：在多智能體系統中選擇關鍵協調節點，如在分布式決策系統中確定信息中繼點或監控節點。

3. Maximal Matching：要求形成最大配對集合，對應資源分配或互斥執行場景。

• 技術細節：在AGENTSNET中，智能體需決定與哪個鄰居配對，任務成功條件是形成的配對集合為最大匹配。這一任務捕捉了智能體在沒有全局知識的情況下協商成對協議的能力。
• 實用場景：在分布式系統中實現點對點資源分配，如任務委派、數據共享伙伴選擇。

4. Leader Election：要求從網絡中選出一個領導者，其余節點確認自己不是領導者。

•   技術細節：這是評估智能體如何建立層次結構和委派全局決策的經典協調任務。在一般圖中，輪次復雜度為O(D)，其中D是網絡直徑。
•   實用價值：建立決策層次結構，選擇負責策略合成的中央規劃者，而其余智能體作為執行者，提高決策效率。

5. Consensus：要求所有智能體就單個值(如0或1)達成一致。
   

• 技術細節：在同步網絡中，達成共識通常需要O(D)輪。這一任務測試多智能體系統僅通過局部消息傳遞就能達成全局一致的能力。
• 實用場景：在分布式決策系統中達成集體決策，如多AI共同確定最佳行動方案。

為什么選擇這五個特定問題？

這五個任務覆蓋了分布式計算問題的完整譜系，從純粹的局部信息交換到全局決策制定。正如論文所述："這些任務涵蓋了分布式計算文獻中已知的廣泛問題，使AGENTSNET能夠評估多智能體系統的推理、通信和組織能力。"每個任務都具有明確的理論復雜度界限，為評估提供了客觀基準。

嚴謹的評估方法設計

系統提示的嚴謹設計：每個智能體接收精心設計的系統提示，明確規定了任務描述、通信規則和響應格式。提示包含關鍵指令：

Everybody (including you) decides what to share or request from neighbors. In every round, think step-by-step about the next set of messages you want to send. Output a JSON string that contains your response messages.

這種結構化提示確保所有智能體遵循統一的協作協議。

 三個智能體在簡化拓撲上的通信示例

上圖展示了三個智能體（Emily、Zach和Tom）在簡化拓撲上的通信示例。每個智能體接收并發送消息給其鄰居，經過多輪消息傳遞后，所有智能體達成共識，選擇Emily作為領導者。這種通信模式清晰展示了AGENTSNET如何模擬分布式系統中的協調過程。

二元評估指標的必要性：AGENTSNET采用嚴格的二元評估標準——"僅計算完全正確解決方案，其中整個智能體網絡滿足任務規范"。這種嚴格標準反映了分布式計算問題的本質：部分正確通常不意味著成功協調。例如，在Coloring任務中，多數節點可能偶然選擇了正確顏色，但只要有一對相鄰節點顏色相同，整個協調就失敗了。

消息輪次的理論依據：對于全局任務（如Consensus），輪次設為2D+1（D為網絡直徑）；對于局部任務（如Coloring），4節點圖用4輪、8節點用5輪、16節點用6輪。這些設置嚴格遵循分布式計算理論中的復雜度界限，確保評估的理論嚴謹性。研究指出："這些輪次設置確保了在理論復雜度界限內完成任務的可能性，同時避免了不必要的冗余通信。"

錯誤處理機制：當模型輸出無效JSON時，系統會自動要求重試，確保通信可靠性。這種設計保證了評估結果反映的是智能體的協調能力，而非格式錯誤。在實踐中，"模型在最多一次重試后就能生成有效響應"，這證明了系統的健壯性設計。

真實網絡拓撲的多樣化

為確保評估的生態效度，AGENTSNET采用了三種真實網絡結構模型：

AGENTSNET生成的小世界網絡拓撲

• Watts-Strogatz小世界網絡：具有短平均路徑長度和高聚類系數，模擬社交網絡和生物系統。圖6展示了AGENTSNET生成的小世界網絡拓撲，其特點是高聚類系數與短平均路徑長度的結合，模擬了真實社交網絡的結構特性。

AGENTSNET生成的無標度網絡拓撲

• Preferential Attachment無標度網絡：包含樞紐節點(hub)，反映互聯網拓撲特性。圖7展示了AGENTSNET生成的無標度網絡拓撲，其特點是存在少量高度連接的樞紐節點，這與互聯網、社交網絡等真實系統高度相似。

AGENTSNET生成的Delaunay幾何圖拓撲

• Delaunay幾何圖：通過在隨機采樣的2D點上構建Delaunay三角剖分生成，保持空間關系。圖8展示了AGENTSNET生成的Delaunay幾何圖拓撲，這種結構保持了節點間的空間關系，適用于模擬物理空間中的交互場景。

思考一個問題：為什么測試不同網絡拓撲對評估多智能體系統至關重要？因為，不同拓撲代表不同的通信挑戰。小世界網絡測試短路徑通信效率，無標度網絡測試樞紐節點利用能力，Delaunay圖測試空間關系理解。這確保評估結果具有普遍適用性。

理論貢獻：重新定義多智能體能力維度

多智能體協作能力的"技能樹"

就像我們評估一個人的能力會看多個維度（溝通能力、專業技能、團隊合作等），AGENTSNET幫助我們系統性地解析了多智能體系統的協調能力，將其分解為多個可測量的維度：

1. 信息聚合能力

體現在從局部到全局的知識整合過程中。以Consensus任務為例，該任務的理論復雜度為Ω(D)，意味著信息需要傳播至少D輪(網絡直徑)才能確保所有智能體達成一致。下圖顯示，隨著網絡規模從4節點增至16節點，Consensus任務成功率從接近1.0降至約0.85，驗證了理論預期。

按任務和模型分組的已解決實例比例，按圖大小分組(4、8和16節點)

上圖展示了按任務和模型分組的已解決實例比例，每個任務對總分的貢獻最多為20%，因為五個基準任務均勻分布。該圖揭示了不同模型在不同規模網絡中的具體表現：隨著網絡規模從4節點增加到16節點，所有模型在所有任務上的成功率均顯著下降，特別是Vertex Cover任務的下降最為明顯。

2. 策略協調能力

指智能體就共同策略達成一致的能力。"策略協調構成了AGENTSNET上的基本挑戰"。

技術細節：研究發現，智能體常在消息后期才達成共識，或完全不協調策略。例如在Coloring任務中，智能體可能假設某種策略并在整個消息傳遞過程中遵循該策略，而不通知鄰居。

典型案例：在Vertex Cover任務中，可以發現多個例子中，智能體檢測到COLORING問題中其他智能體之間的沖突顏色分配，并協助解決這些沖突。但在Vertex Cover任務中，智能體往往無法就"最小性"約束達成一致。

失敗模式分析：AGENTSNET的定性分析揭示了三類典型失敗模式：

• 策略協調延遲：智能體在消息后期才達成共識，導致實施策略的輪次不足
• 信息盲目接受：智能體通常接受鄰居發送的信息，包括錯誤信息（如E.1節中Douglas和Stephen接受Jeremy錯誤的星型圖描述）
• 過時信息依賴：在Matching任務中，Kyle和Dorothy在第二輪就決定與其他鄰居配對，當這些配對失敗后，他們沒有重新聯系彼此

思考一個問題：為什么Vertex Cover比Consensus更難？因為，Vertex Cover需要理解"最小性"約束(移除任一協調器都會破壞覆蓋)，而Consensus只需達成一致值。這要求智能體不僅要達成一致，還要驗證解的最優性，大大增加了任務復雜度。

3. 自組織能力

指在沒有中央控制的情況下形成結構的能力。Vertex Cover任務特別考驗這一能力，因為它要求智能體識別一個既緊湊又有效的節點集合，其中每個節點至少有一個協調器鄰居，且移除任何協調器都會破壞覆蓋性質。這種自組織能力是多智能體系統實現高效協作的關鍵。

當前AI協作能力的真實邊界

AGENTSNET的實驗結果揭示了當前多智能體LLM能力的真實邊界，為領域發展提供了重要參考。

規模限制的精確刻畫

研究顯示，即使是最先進的模型，在4節點網絡中也無法在所有任務上保持一致的高性能。例如，Claude 3.7 Sonnet在4節點Vertex Cover任務上僅達到0.40的成功率，遠低于其在Leader Election任務上的0.96。隨著網絡規模擴大到16節點，所有模型的性能都明顯下降。當擴展到100節點時，"性能全面降至接近零"，表明當前LLM存在明確的可擴展性瓶頸。

Gemini 2.0 Flash在AGENTSNET上的可擴展性：隨著圖大小從20增加到100個智能體，成功解決的任務實例平均比例

上圖展示了Gemini 2.0 Flash在AGENTSNET上的可擴展性：隨著網絡規模從20增加到100個智能體，成功解決的任務實例平均比例持續下降。特別是當網絡規模超過50個節點后，性能急劇下降，100節點網絡中的成功率接近零。這表明當前模型在大規模多智能體系統中面臨嚴重挑戰。

具體數據：在16節點網絡中，Claude 3.7 Sonnet在Vertex Cover任務上的成功率降至約0.15，在Coloring任務上降至約0.35。網絡規模每翻倍，任務成功率平均下降30%，這揭示了多智能體系統中的"規模詛咒"。

在 AGENTSNET 上的表現：用同一圖分布的多個獨立同分布樣本計算出的實例求解比例（灰色區域為對應的標準誤）。Gemini 2.5 FT 即 Gemini 2.5 Flash Thinking

統計驗證：上表顯示了在AGENTSNET上解決的實例比例，以及從相同圖分布中多次獨立同分布樣本的標準誤差（灰色部分）。小的標準誤差表明AGENTSNET能夠精確區分不同能力模型的性能差異，驗證了評估結果的可靠性。

成本-性能權衡的深度分析

模型的AGENTSNET平均得分與每次重復的API成本（2025年5月15日）

上圖展示了模型的AGENTSNET平均得分與每次實驗運行的API成本之間的關系。金星標記表示帕累托最優模型，即在特定價格點上提供最佳性能的模型。值得注意的是，Gemini 2.5 Flash的性能接近Claude 3.7 Sonnet但成本低約20倍。

成本分析：成本分析考慮了運行完整AGENTSNET評估的總費用，包括所有消息傳遞輪次和最終答案生成。研究指出："成本效益分析對于實際應用至關重要，因為大規模多智能體系統可能涉及大量通信輪次。"

實用啟示：對于需要大規模多智能體協作的應用，選擇成本效益更高的模型（如Gemini 2.5 Flash）可以在保持性能的同時大幅降低運營成本。這對AI應用開發者具有重要參考價值。

任務難度的重新排序

挑戰了傳統認知。Vertex Cover被證明是最難的任務，即使是最佳模型Claude 3.7 Sonnet在該任務上的得分(0.40)也遠低于其他任務。相比之下，Consensus任務相對簡單，大多數模型在4節點網絡上接近100%成功率。

數據支撐：在4節點網絡中，Vertex Cover任務的平均成功率為0.32，而Consensus任務達到0.89。這種差異源于任務本質：Vertex Cover需要理解"最小性"約束(移除任一協調器都會破壞覆蓋)，而Consensus只需達成一致值。

任務難度層級：

• 最困難：Vertex Cover（要求理解"最小性"約束）
• 較困難：Matching（需要成對協調）
• 中等：Coloring（需要避免局部沖突）
• 較簡單：Leader Election（需要建立層次結構）
• 最簡單：Consensus（只需信息傳播）

思考一個問題：為什么網絡規模擴大對Vertex Cover任務的影響比Consensus更大？因為，Vertex Cover需要全局驗證"最小性"，隨著網絡規模擴大，驗證難度呈指數級增長；而Consensus只需信息傳播D輪，受規模影響較小。

未來：超越AGENTSNET

通往更智能AI團隊的道路

盡管AGENTSNET代表了多智能體評估的重要進步，但研究者也指出了其局限性。

1. 引入異構智能體

當前AGENTSNET假設"所有智能體同質，共享架構、能力和提示風格"，但現實部署中通常存在能力差異的智能體。研究指出，這種同質性"簡化了分析，但未能捕捉真實世界部署中常見的異構智能體設置，這些設置帶來額外的協調挑戰"。

應用場景設想：未來的AI團隊應該包含不同專長的智能體——有的擅長數據分析，有的精通創意寫作，有的熟悉法律知識。AGENTSNET 2.0可以測試這些"專業AI"如何有效協作，評估不同能力組合對任務完成的影響。

2. 動態網絡拓撲

AGENTSNET使用靜態圖結構，但實際系統往往面臨變化的網絡環境。研究引用了人類研究："動態變化網絡中的伙伴選擇可以促進人類協調"，暗示多智能體系統也可能從動態拓撲中受益。

實用啟示：未來的多智能體系統可能需要設計自適應的通信協議，能夠根據網絡狀態動態調整交互方式，提高在不穩定環境中的魯棒性。

3. 異步通信協議

當前AGENTSNET基于同步通信模型，但"同步消息傳遞的缺點是智能體只能在后續消息傳遞輪次中收到回復"。未來工作可以探索異步通信協議，更貼近真實世界的交互模式。

技術挑戰：異步通信增加了時序復雜性，但也可能提高整體效率，特別是在大規模網絡中。如何設計既能利用異步優勢又避免死鎖的協議是關鍵挑戰。

AGENTSNET的范式意義與實踐價值

AGENTSNET的主要貢獻在于：它通過將分布式計算理論與多智能體LLM研究連接起來，為領域提供了堅實的理論基礎和可擴展的評估框架。AGENTSNET評估了五種核心協調任務（Coloring、Vertex Cover、Matching、Leader Election和Consensus），在三種不同網絡拓撲（小世界、無標度和Delaunay圖）上測試了從4到100個智能體的協作能力。

AGENTSNET的范式意義在于：它不再簡單詢問"多智能體系統能完成什么任務"，而是深入探究"為什么能或不能完成這些任務"。通過基于理論的評估，研究者能夠識別系統性能的理論瓶頸，指導更有針對性的改進。

對普通用戶的意義：

1. 當前技術水平的真實狀況：當智能體網絡超過一定規模（如16個節點），即使是最佳模型也會表現顯著下降。這意味著當前的多AI協作系統可能在小規模場景中有效，但在復雜、大規模任務中可能難以維持協調。

2. 未來AI助手的發展方向：當這項技術成熟時，你可能會看到AI助手一方面能獨立工作，同時還可以與其他AI無縫協作，為你提供更全面的服務——比如一個AI負責研究，另一個負責寫作，第三個負責校對，它們像一個高效團隊一樣協同工作。

3. AI智能的本質認知：AI的"智能"不僅取決于單個模型的能力，更取決于它們如何作為一個團隊運作。就像人類團隊中，整體效能往往大于個體能力之和，未來的AI系統也需要通過有效的協調機制來放大集體智能。

4. 方法論的普適價值：AGENTSNET的研究方法——將理論與實踐結合，用嚴謹的框架評估新興技術——這適用于AI領域，也可以推廣到其他復雜系統的研究中。

隨著LLM能力的不斷提升，AGENTSNET將繼續提供有意義的性能區分，推動多智能體系統設計的理論與實踐進步。我很期待，在不久的將來，AI團隊能夠像人類團隊一樣，實現高效的網絡協作。AGENTSNET作為一個評估框架可以很好的驗證這種網絡協作的效能， 為AI研發團隊提供科學的參考。現在如果你想上手 AGENTSNET可以到文末參考資料中找到開源代碼、數據集以及演示的 demo。這份研究是不是很有趣？