AI竟會(huì)「自己認(rèn)錯(cuò)」？破解多智能體協(xié)作「羅生門」，斬獲ICML 2025 Spotlight

2025-06-03 09:08:00

在多智能體AI系統(tǒng)中，一旦任務(wù)失敗，開發(fā)者常陷入「誰(shuí)錯(cuò)了、錯(cuò)在哪」的謎團(tuán)。PSU、杜克大學(xué)與谷歌DeepMind等機(jī)構(gòu)首次提出「自動(dòng)化失敗歸因」，發(fā)布Who&When數(shù)據(jù)集，探索三種歸因方法，揭示該問題的復(fù)雜性與挑戰(zhàn)性。

你打造了一支「超級(jí)AI戰(zhàn)隊(duì)」——戰(zhàn)隊(duì)里每個(gè)AI都各司其職：有的收集信息、有的負(fù)責(zé)判斷，還有的協(xié)調(diào)執(zhí)行，一起協(xié)作攻克復(fù)雜任務(wù)。

這個(gè)愿望看似天衣無(wú)縫，結(jié)果卻往往以失敗告終。問題就出在：當(dāng)「問題」出現(xiàn)的時(shí)候，如何知道是哪個(gè)AI干的？

就像代碼Debug一樣，從堆積如山的模型對(duì)話記錄、調(diào)用日志和中間結(jié)果找到哪個(gè)AI掉鏈子幾乎不可能，而且AI本身還是個(gè)「黑箱」。

這就是今天多智能體AI系統(tǒng)面臨的真實(shí)困境：不僅頻繁失敗，而且溯源問題困難。

為了解決這個(gè)「AI版羅生門」，賓夕法尼亞州立大學(xué)與杜克大學(xué)聯(lián)合Google DeepMind等機(jī)構(gòu)的研究者們首次提出了：自動(dòng)化失敗歸因（Automated Failure Attribution）——讓AI自己舉手：我錯(cuò)了！

目前，這篇論文不僅成功斬獲了頂會(huì)ICML 2025 Spotlight，而且配套的首個(gè)專用基準(zhǔn)數(shù)據(jù)集Who&When和相關(guān)代碼也已全部開源。

論文地址：https://arxiv.org/pdf/2505.00212

代碼地址：https://github.com/mingyin1/Agents_Failure_Attribution

都說模型即產(chǎn)品，就像現(xiàn)在的OpenAI o3、Gemini 2.5 Pro還有新發(fā)的DeepSeek-R1-0528越來越強(qiáng)大，那為何還需要多智能體的AI系統(tǒng)？

這是因?yàn)槟壳半A段依然單個(gè)AI能力有限，而LLM驅(qū)動(dòng)的多智能體系統(tǒng)在很多領(lǐng)域展現(xiàn)出巨大潛力。

然而，這些系統(tǒng)也存在著脆弱性：?jiǎn)蝹€(gè)Agent的失誤，Agent之間的誤解，以及信息傳遞錯(cuò)誤，都可能導(dǎo)致整體任務(wù)失敗。

目前，一旦多智能體的AI系統(tǒng)「翻車」，開發(fā)者往往只能：

手動(dòng)「考古」：逐條翻閱冗長(zhǎng)的交互日志，試圖找出問題所在。
依賴經(jīng)驗(yàn)：這種調(diào)試過程高度依賴開發(fā)者對(duì)系統(tǒng)和任務(wù)的深入理解。

這種「大海撈針」式的排錯(cuò)方式，不僅效率低下，更嚴(yán)重阻礙了系統(tǒng)的快速迭代和可信賴度的提升。

目前迫切需要一種自動(dòng)化、系統(tǒng)化的方法來定位失敗原因，將「評(píng)估結(jié)果」與「系統(tǒng)改進(jìn)」有效連接起來。

核心貢獻(xiàn)

針對(duì)上述挑戰(zhàn)，這篇論文做出了開創(chuàng)性的貢獻(xiàn)：

1. 提出并定義新問題

首次將「自動(dòng)化失敗歸因」形式化為一個(gè)具體的研究任務(wù)，明確了要找出導(dǎo)致失敗的責(zé)任Agent（failure-responsible agent）和決定性錯(cuò)誤步驟（decisive error step）。

2. 構(gòu)建首個(gè)數(shù)據(jù)集——Who&When

該數(shù)據(jù)集包含了從127個(gè)LLMMulti-Agent系統(tǒng)中收集的廣泛失敗日志。這些系統(tǒng)既有算法自動(dòng)生成的，也有人類專家精心打造的，確保了場(chǎng)景的真實(shí)性和多樣性。

每條失敗日志都配有細(xì)粒度的人工標(biāo)注：

「誰(shuí)」（Who）：哪個(gè)Agent是「罪魁禍?zhǔn)住埂?/span>
「何時(shí)」（When）：決定性錯(cuò)誤發(fā)生在交互的哪一步。
「為何」（Why）：對(duì)失敗原因的自然語(yǔ)言解釋。

標(biāo)注關(guān)鍵錯(cuò)誤代理以及確定出錯(cuò)的具體步驟，對(duì)普通人和領(lǐng)域?qū)＜襾碚f都是一項(xiàng)挑戰(zhàn)。

注釋者需要解析復(fù)雜的日志，理清每個(gè)代理的解決問題邏輯，并判斷每個(gè)動(dòng)作是正確的，還是會(huì)誤導(dǎo)整個(gè)問題解決過程。

例如，如果某個(gè)代理使用網(wǎng)頁(yè)瀏覽器獲取解決問題所需的重要信息，注釋者就必須檢查瀏覽器歷史記錄，并訪問每一個(gè)網(wǎng)站，以判斷失敗是由于網(wǎng)站上本身沒有相關(guān)信息，還是代理未能成功獲取。

如上圖（a）所示，三位注釋者分別花費(fèi)了30.9小時(shí)、30.2小時(shí)和23.2小時(shí)來完成注釋。這表明注釋過程非常耗時(shí)，因此開始考慮開展自動(dòng)化故障歸因的研究。

此外，在很多數(shù)據(jù)實(shí)例中，出錯(cuò)的并不只是某一個(gè)代理，而是多個(gè)代理。人們需要識(shí)別出這些錯(cuò)誤，并挑選出其中最嚴(yán)重的錯(cuò)誤，因?yàn)檫@些錯(cuò)誤會(huì)直接導(dǎo)致問題解決失敗。由于錯(cuò)誤的嚴(yán)重程度有時(shí)較為細(xì)微，甚至帶有一定的主觀性，這一過程就變得更加困難。

如上圖（b）所示，展示了三位注釋者「不確定」標(biāo)注的比例，范圍從15%到30%不等。

圖（c）則可視化了不同注釋者在互相投票判斷彼此「不確定」數(shù)據(jù)時(shí)的分歧率。

可以看到，即使在投票環(huán)節(jié)仍存在一定程度的分歧，進(jìn)一步突顯了注釋工作本身的復(fù)雜性與挑戰(zhàn)性。

3. 探索初步的「自動(dòng)化歸因」方法

基于Who&When數(shù)據(jù)集，論文設(shè)計(jì)并評(píng)估了三種不同的自動(dòng)化失敗歸因方法：全局審視法（All-at-Once），逐步偵查法（Step-by-Step），二分定位法（Binary Search）。

實(shí)驗(yàn)結(jié)果表明：這三種方法在準(zhǔn)確性、成本和分析粒度上各有千秋，沒有一種能在所有指標(biāo)上完勝。它們共同構(gòu)成了自動(dòng)化失敗歸因任務(wù)的初步「解法庫(kù)」。

· All-at-Once：一次性完成

向LLM提供用戶查詢和完整的故障日志，要求其一次性識(shí)別出故障責(zé)任Agent以及發(fā)生決定性錯(cuò)誤的具體步驟。

優(yōu)點(diǎn)：一步到位，成本較低，可能擅長(zhǎng)宏觀判斷責(zé)任。

缺點(diǎn)：可能面臨「大海撈針」問題，難以從長(zhǎng)上下文中精確定位具體錯(cuò)誤步驟。

· Step-by-Step：逐步

模擬人工調(diào)試，讓LLM從頭開始，一步步檢查交互日志，在每個(gè)環(huán)節(jié)判斷當(dāng)前是否出現(xiàn)錯(cuò)誤，直到揪出「真兇」。

優(yōu)點(diǎn)：如同剝洋蔥般細(xì)致，在定位具體錯(cuò)誤環(huán)節(jié)上更具優(yōu)勢(shì)。

缺點(diǎn)：需要多次詢問模型，調(diào)用成本較高，且局部判斷的累積誤差可能導(dǎo)致「誤判」。

· Binary Search：二分查找

這是一種折中策略，總成本和效果介于前兩者之間。

方法是將日志對(duì)半切分，利用LLM判斷錯(cuò)誤發(fā)生在前半段還是后半段，然后不斷在確定的半段中遞歸「二分」，最終鎖定問題步驟和相關(guān)Agent。

實(shí)驗(yàn)結(jié)果與主要發(fā)現(xiàn)

實(shí)驗(yàn)在兩種設(shè)定下進(jìn)行：LLM知道Multi-Agent系統(tǒng)需要解決的問題的真實(shí)答案（With Ground Truth）和不知道真實(shí)答案（Without Ground Truth）。

主要使用GPT-4o，但也測(cè)試了其他模型（如Llama系列、Qwen系列、GPT系列、OpenAI o1、DeepSeek R1）

通過在Who&When數(shù)據(jù)集上對(duì)上述方法進(jìn)行了系統(tǒng)評(píng)估，得到了許多重要的發(fā)現(xiàn)：

· 任重道遠(yuǎn)，表現(xiàn)堪憂

目前的方法離完美還差得很遠(yuǎn)。即便是表現(xiàn)最好的單一方法，在識(shí)別「背鍋Agent」上的準(zhǔn)確率也僅有約53.5%，而在準(zhǔn)確定位「錯(cuò)誤步驟」上，準(zhǔn)確率更是低至14.2%！

這意味著，最牛的策略也只能勉強(qiáng)過半猜對(duì)誰(shuí)是「內(nèi)鬼」，至于錯(cuò)在哪一步，基本靠「蒙」。

有些方法的表現(xiàn)甚至不如隨機(jī)猜測(cè)，足見任務(wù)之艱巨。

· 各有所長(zhǎng)，難有「全能冠軍」

不同方法在不同子任務(wù)上表現(xiàn)各異，沒有萬(wàn)能冠軍。

例如，All-at-Once方法對(duì)「Who」的判斷相對(duì)最好，能夠更準(zhǔn)確地找出哪個(gè)Agent應(yīng)該負(fù)責(zé)；而Step-by-Step方法在鎖定具體錯(cuò)誤步驟（「When」）上效果更勝一籌，細(xì)粒度檢查帶來了優(yōu)勢(shì)；Binary Search方法則各方面居中，表現(xiàn)中規(guī)中矩。

由此體現(xiàn)出每種方案的權(quán)衡取舍：要么整體掃描擅長(zhǎng)找「人」，要么逐步追查利于找「步驟」。