今天我們介紹一篇論文《REACT: Synergizing Reasoning and Acting in Language Models》，它是來自谷歌研究院和普林斯頓大學的一組研究人員在探索了在語言模型中結合推理和行為的潛力后發布的結果。雖然大型語言模型(LLM)推理(思維鏈提示)和行動(行動計劃生成)的能力已經作為單獨的主題進行了研究，但這是第一次將這兩種能力組合到一個系統中。所以我覺得這是一篇重要的論文，因為ReAct框架允許虛擬代理使用諸如連接到web和SQL數據庫之類的工具，所以可以提供幾乎無限的擴展。

推理和行動的力量

人類智能的特點是將以任務為導向的行動和關于下一步行動的推理無縫結合。這種能力使我們能夠快速學習新任務并做出可靠的決定，而且可以適應不可預見的情況。ReAct的目標就是在語言模型中復制這種協同作用，使它們能夠以交錯的方式生成推理步驟和特定于任務的操作。

ReAct如何工作的

ReAct提示大型語言模型為給定任務生成口頭推理歷史步驟和操作。這些提示由少量的上下文示例組成，這些示例指導模型的思考和操作生成。下面的圖中給出了一個上下文示例。這些例子引導代理經歷一個循環過程:產生一個想法，采取一個行動，然后觀察行動的結果。通過結合推理跟蹤和操作，ReAct允許模型執行動態推理，這樣可以生成高級計劃，還可以與外部環境交互以收集額外的信息。

應用及結果

研究人員將ReAct應用于多種語言推理和決策任務，包括問題回答、事實驗證、基于文本的游戲和網頁導航。結果是非常好的，ReAct在可解釋性和可信賴性方面始終優于其他最先進的基線。

在問答和事實驗證任務中，ReAct通過與簡單的Wikipedia API交互，克服了推理中普遍存在的幻覺和錯誤傳播問題。它生成了類似人類的解決任務的步驟，比沒有推理痕跡的基線更容易解釋。在交互式決策基準中，ReAct的表現明顯優于模仿和強化學習方法，即使只有一兩個上下文示例。

雖然推理、行動和觀察步驟交織在一起提高了ReAct的接地性和可信度，但這種結構也約束降低了其制定推理步驟的靈活性，導致在某些任務上的推理錯誤率高于思維鏈提示。

推理和行動的重要性

研究人員還進行了消融實驗，了解在不同任務中推理和行動的重要性。他們發現，ReAct的內部推理和外部行為的結合始終優于專注于推理或單獨行動的基線。這突出了整合這兩個過程的價值，以獲得更有效的決策。

未來的發展方向

雖然ReAct已經顯示出很好的結果，但仍有改進的空間。研究人員建議擴大ReAct的規模，以訓練和操作更多的任務，并將其與強化學習等互補范例結合起來。此外還可以使用更多的人工注釋數據對模型進行微調可以進一步提高它們的性能。

結論

ReAct在開發更智能、更通用的AI系統方面向前邁進了一步，并且它也支持Langchain庫中一些非常有用的代理功能。通過在語言模型中結合推理和行為，已經證明了在一系列任務中的性能提高，以及增強的可解釋性和可信度。隨著人工智能的不斷發展，推理和行為的整合將在創造更有能力和適應性的人工智能系統方面發揮關鍵作用。

論文地址：