向完全自主性更進一步，清華、港大全新跨任務自我進化策略讓智能體學會「以經驗為鑒」
「以史為鑒，可以知興替。」 人類的進步史，可以看作是一個不斷吸取過去經驗、不斷推進能力邊界的自我演化過程。在這個過程中，我們吸取過去失敗的教訓以糾正錯誤，借鑒成功的經驗以提升效率和效果。這種自我進化的過程在我們的生活中無所不在：從如何總結經驗以更好地解決工作中的問題，到如何利用規律更精確地預測天氣，我們都在不斷地從過去的經驗中學習和進化。
成功從過去的經驗中提取知識并將其應用于未來的挑戰，這是人類進化之路上重要的里程碑。那么在人工智能時代，AI 智能體是否也可以做到同樣的事情呢？
近年來，GPT 和 LLaMA 等語言模型展示了他們在解決復雜任務時的驚人能力。然而，他們盡管可以利用工具解決具體任務，但在本質上缺乏對過去成功和失敗經歷的洞見與汲取。這就像一個只會完成特定任務的機器人，雖然在完成當下任務上表現出色，但面對新的挑戰時，卻無法調用過去的經驗來提供幫助。
針對這一難題，近期來自清華大學、香港大學、人民大學以及面壁智能的聯合團隊提出了一種全新的智能體自我演化策略：探索 - 固化 - 利用（Investigate-Consolidate-Exploit，ICE）。它旨在通過跨任務的自我進化來提升 AI 智能體的適應性和靈活性。其不僅能提升智能體處理新任務時的效率和效果，還能顯著降低對智能體基座模型能力的需求。
這個策略的出現，無疑為智能體的自我進化開啟了全新的篇章，也意味著我們離實現智能體的完全自主性又邁進了一步。
- 論文標題：Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent Self-Evolution
- 論文鏈接：https://arxiv.org/abs/2401.13996
智能體任務間經驗遷移以實現自我進化概覽圖
智能體自我進化的兩個方面：規劃與執行
當下大部分復雜智能體都可以分成任務規劃（Planning）與任務執行（Execution）兩大方面。在任務規劃上，智能體通過推理將用戶需求細化并制定完成目標的詳細策略；而在任務執行上，智能體通過工具調用實現與環境的交互，從而完成相應子目標。
為了更好地促進以往經驗的重復利用，作者首先將這兩方面的進化策略解耦。他們以 XAgent 智能體架構中的樹狀任務規劃結構以及 ReACT 鏈式工具執行為例，分別介紹了 ICE 策略的具體實現。
智能體任務規劃的 ICE 自我演化策略
對于任務規劃，自我進化依照 ICE 被分為以下三個階段：
- 在探索階段，智能體記錄下整個樹狀任務規劃結構，并同時動態檢測各個子目標的執行狀態；
- 在固化階段，智能體首先剔除所有失敗的目標結點，之后對于每個成功完成的目標，智能體將以該目標為子樹的所有葉子結點依次排開形成一條規劃鏈（Workflow）；
- 在利用階段，這些規劃鏈將被作為新任務目標分解細化的參考依據，以利用過往的這些成功經驗。
智能體任務執行的 ICE 自我演化策略
任務執行的自我演化策略依然分為 ICE 三個階段，其中：
- 在探索階段，智能體動態記錄每個目標執行的工具調用鏈，并對工具調用中出現的可能問題進行簡單的檢測歸類；
- 在固化階段，工具調用鏈將被轉化為類似自動機的流水線（Pipeline）結構，工具調用順序與調用之間的轉移關系將被固定，同時還會去掉重復調用，增加分支邏輯等等讓自動機自動化執行流程更加魯棒；
- 在利用階段，對于相似的目標，智能體將直接自動化執行流水線，從而提升任務完成效率。
XAgent 框架下的自我進化實驗
作者在 XAgent 框架中對提出的 ICE 自我演化策略進行了測試，并總結了以下四點發現：
- ICE 策略能夠顯著降低模型的調用次數，從而提升效率，減少開銷。
- 存儲的經驗在 ICE 策略下有著較高的復用率，這證明了 ICE 的有效性。
- ICE 策略能夠提升子任務完成率同時減少規劃返修的次數。
- 通過以往經驗的加持，任務執行對模型能力的要求顯著下降。具體來看，使用 GPT-3.5 搭配上之前的任務規劃與執行經驗，效果可以直接媲美 GPT-4。
在探索 - 固化進行經驗存儲后，測試集任務在不同智能體 ICE 策略下的表現
同時，作者還進行了額外的消融實驗：在存儲經驗逐漸增加的情況下，智能體的表現是否越來越好？答案是肯定的。從零經驗，半經驗，到滿經驗，基座模型的調用次數逐漸減少，而子任務完成度逐漸提升，同時復用率也有升高。這表明更多的過往經驗能夠更好地促進智能體執行，實現規模效應。
在不同經驗存儲量下，測試集任務表現的消融實驗結果統計
結語
暢想一下，在人人都能夠部署智能體的世界中，成功經驗的數量會隨著智能體個體任務執行不斷累積，而用戶也可以將這些經驗在云端中、社區里進行分享。這些經驗將促使智能體不斷汲取能力，自我進化，逐漸達到完全自主。我們向這樣的時代又邁進了一步。
