人類在處理復(fù)雜的模式識(shí)別任務(wù)上表現(xiàn)出色。

在形成結(jié)論之前，他們常常借助諸如書籍、谷歌搜索或計(jì)算器等工具來增強(qiáng)其現(xiàn)有知識(shí)。

同樣地，AI 大模型能夠通過訓(xùn)練，學(xué)會(huì)使用工具來獲取實(shí)時(shí)信息或提出現(xiàn)實(shí)世界的行動(dòng)建議。例如，這些大模型能夠運(yùn)用數(shù)據(jù)庫(kù)檢索工具來查詢特定信息，如顧客的購(gòu)買歷史，進(jìn)而提供個(gè)性化的購(gòu)物建議。再比如，基于用戶的查詢，大模型能夠執(zhí)行多種 API 調(diào)用，用于發(fā)送郵件回復(fù)給同事或代表用戶完成財(cái)務(wù)交易。

為了實(shí)現(xiàn)這些功能，大模型不僅需要能夠接入各種外部工具，還必須能夠自主規(guī)劃并執(zhí)行任務(wù)。這種結(jié)合了推理、邏輯以及對(duì)額外信息的利用的能力，是 AI大模型的核心，它體現(xiàn)了 AI Agent 智能體的概念，即超出單純 AI 大模型獨(dú)立功能的程序。

1、模型

在 AI Agent 智能體領(lǐng)域，所提到的模型是指那些在 AI Agent 智能體工作流程中充當(dāng)決策中樞的語言模型（LM）。

AI Agent 智能體所采用的模型可以是單個(gè)或多個(gè)不同規(guī)模（小型或大型）的語言模型，這些模型能夠遵循基于指令的推理邏輯，例如：反應(yīng)（ReAct）、思維鏈（Chain-of-Thought）或思維樹（Tree-of-Thoughts）等架構(gòu)。這些模型可能是通用的、多模態(tài)的，或者根據(jù)特定智能體框架的需求進(jìn)行定制化調(diào)整。

為了實(shí)現(xiàn)最佳的應(yīng)用效果，應(yīng)選擇與目標(biāo)應(yīng)用最匹配的模型，并且最好該模型已經(jīng)針對(duì)將在認(rèn)知架構(gòu)中使用的工具相關(guān)的數(shù)據(jù)特性進(jìn)行了訓(xùn)練。

應(yīng)當(dāng)注意的是，模型通常不會(huì)專門針對(duì) AI Agent 智能體的特定配置（即工具的選擇、編排和推理設(shè)置）進(jìn)行訓(xùn)練。然而，通過向模型提供展示 AI Agent 智能體能力的示例，包括 AI Agent 智能體在不同情境中使用特定工具或推理步驟的案例，可以進(jìn)一步針對(duì) AI Agent 智能體的任務(wù)對(duì)模型進(jìn)行優(yōu)化。

2、工具

工具的形式多樣，復(fù)雜度不一，通常與標(biāo)準(zhǔn)的網(wǎng)絡(luò)應(yīng)用程序編程接口（API）方法（如 GET、POST、PATCH 和 DELETE）保持一致。比如，某個(gè)工具能夠修改數(shù)據(jù)庫(kù)中的客戶資料，或者獲取天氣信息以優(yōu)化 AI Agent 智能體為用戶提供的旅行建議。

通過使用這些工具，AI Agent 智能體得以接入和處理現(xiàn)實(shí)世界的數(shù)據(jù)。這使得它能夠支撐更專業(yè)的系統(tǒng)，如檢索增強(qiáng)生成（RAG）系統(tǒng)，該系統(tǒng)顯著提升了AI Agent 智能體的功能，使其能力超越了基礎(chǔ)模型本身的限制。

3、編排層

編排層描述了一個(gè)循環(huán)過程，它管理著 AI Agent 智能體如何接收信息、進(jìn)行內(nèi)部推理，并使用這些推理來指導(dǎo)其下一個(gè)動(dòng)作或決策。通常，這個(gè)循環(huán)會(huì)一直持續(xù)，直到 AI Agent 智能體達(dá)到其目標(biāo)或一個(gè)停止點(diǎn)。編排層的復(fù)雜性可以根據(jù) AI Agent 智能體及其執(zhí)行的任務(wù)而有很大差異。有些循環(huán)可能是簡(jiǎn)單的計(jì)算和決策規(guī)則，而其他循環(huán)可能包含連鎖邏輯，涉及額外的機(jī)器學(xué)習(xí)算法，或者實(shí)現(xiàn)其他概率推理技術(shù)。

AI Agent 智能體可以利用 ReAct、CoT、ToT 等推理技術(shù)，或者許多其他技術(shù)，來為給定的用戶請(qǐng)求選擇下一個(gè)最佳動(dòng)作。例如，讓我們考慮一個(gè)被編程使用 ReAct 框架來為用戶查詢選擇正確動(dòng)作和工具的 AI Agent 智能體。事件序列可能如下所示：

1.用戶向 AI Agent 智能體發(fā)送查詢；

2.AI Agent 智能體開始 ReAct 序列；

3.AI Agent 智能體向模型提供一個(gè)提示詞（Prompt），要求它生成下一個(gè)ReAct 步驟及其對(duì)應(yīng)的輸出：

    a. 問題：用戶查詢中的輸入問題，隨提示詞一起提供

    b. 思考：模型關(guān)于接下來應(yīng)該做什么的想法

    c. 動(dòng)作：模型關(guān)于接下來采取什么動(dòng)作的決定

        i. 這里的工具選擇可以發(fā)生

        ii. 例如，一個(gè)動(dòng)作可以是[航班、搜索、編碼、無]之一，前三個(gè)代表模型可以選擇的已知工具，最后一個(gè)代表“不選擇工具”

    d. 動(dòng)作輸入：模型關(guān)于向工具提供什么輸入的決定（如果有的話）

    e. 觀察：動(dòng)作/動(dòng)作輸入序列的結(jié)果

        i. 這個(gè)思考/動(dòng)作/動(dòng)作輸入/觀察可以根據(jù)需要重復(fù)N次

    f. 最終答案：模型對(duì)原始用戶查詢提供的最終答案

4.ReAct 循環(huán)結(jié)束，并向用戶返回最終答案。

4、擴(kuò)展：自定義插件

將擴(kuò)展（Extensions）視為一種在 AI Agent 智能體與應(yīng)用程序編程接口（API）之間建立標(biāo)準(zhǔn)化連接的方式，是最直接的理解方法。這種方式使得 AI Agent 智能體能夠順暢地執(zhí)行多種 API 操作，而無需關(guān)心其背后的具體實(shí)現(xiàn)細(xì)節(jié)。

設(shè)想你開發(fā)了一個(gè)旨在幫助用戶預(yù)訂航班的 AI Agent 智能體。你打算利用谷歌航班 API 來獲取所需的航班信息，但你不確定如何讓你的 AI Agent 智能體來調(diào)用這個(gè) API。

采用一種更為靈活的方法是使用擴(kuò)展。擴(kuò)展通過以下步驟在 AI Agent 智能體和 API 之間搭建橋梁：

• 通過示例指導(dǎo) AI Agent 智能體如何使用 API 接口。
• 指導(dǎo) AI Agent 智能體了解成功調(diào)用 API 接口所需的參數(shù)。

擴(kuò)展可以獨(dú)立于 AI Agent 智能體進(jìn)行開發(fā)，但它們應(yīng)該作為 AI Agent 智能體配置的一部分來提供。在運(yùn)行時(shí)，AI Agent 智能體依靠模型和示例來決定哪個(gè)擴(kuò)展（如果有）最適合處理用戶的查詢。這體現(xiàn)了擴(kuò)展的一個(gè)重要優(yōu)勢(shì)，即它們的“示例內(nèi)嵌”特性，它允許 AI Agent 智能體根據(jù)任務(wù)需求動(dòng)態(tài)地選擇最合適的擴(kuò)展。

5、功能函數(shù)

在 AI Agent 智能體領(lǐng)域，函數(shù)的運(yùn)作方式與軟件開發(fā)中的情況類似，但在這里，模型取代了軟件開發(fā)人員的角色。模型能夠訪問一系列已知的函數(shù)，并依據(jù)函數(shù)的定義來決定何時(shí)調(diào)用哪個(gè)函數(shù)以及需要傳遞哪些參數(shù)。

函數(shù)與擴(kuò)展在幾個(gè)關(guān)鍵點(diǎn)上有所不同，最明顯的區(qū)別包括：

• 模型會(huì)輸出一個(gè)函數(shù)及其所需的參數(shù)，但不會(huì)直接執(zhí)行實(shí)時(shí)應(yīng)用程序編程接口（API）調(diào)用。
• 函數(shù)在客戶端環(huán)境中運(yùn)行，而擴(kuò)展則在 AI Agent 智能體端執(zhí)行。

大多數(shù)開發(fā)人員傾向于使用功能函數(shù)，原因包括：

• 需要進(jìn)行應(yīng)用程序編程接口（API）調(diào)用的應(yīng)用程序棧的另一層，這超出了 AI Agent 智能體直接架構(gòu)的范圍（例如中間件系統(tǒng)、前端框架等）。
• 存在安全或認(rèn)證的限制，導(dǎo)致 AI Agent 智能體無法直接訪問 API（例如 API 未在互聯(lián)網(wǎng)上公開，或者 AI Agent 智能體基礎(chǔ)設(shè)施無法連接到該 API）。
• 有時(shí)間安排或操作順序的限制，使得 AI Agent 智能體無法實(shí)時(shí)執(zhí)行 API 調(diào)用（例如批量操作、人工審核等場(chǎng)景）。
• 需要對(duì) AI Agent 智能體無法直接執(zhí)行的應(yīng)用程序編程接口（API）響應(yīng)進(jìn)行額外的數(shù)據(jù)轉(zhuǎn)換邏輯。例如，如果一個(gè) API 端點(diǎn)沒有提供限制返回結(jié)果數(shù)量的篩選機(jī)制，客戶端使用函數(shù)可以為開發(fā)人員提供執(zhí)行這些轉(zhuǎn)換的額外機(jī)會(huì)。
• 開發(fā)人員希望在 AI Agent 智能體開發(fā)過程中進(jìn)行迭代，而不需要為 API 端點(diǎn)部署額外的基礎(chǔ)設(shè)施（即函數(shù)調(diào)用可以作為 API 的“存根”）。

6、數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)存儲(chǔ)機(jī)制使得開發(fā)人員能夠以原始格式向 AI Agent 智能體提供額外數(shù)據(jù)，這樣他們就無需進(jìn)行繁瑣的數(shù)據(jù)轉(zhuǎn)換、模型的重新訓(xùn)練或微調(diào)。

數(shù)據(jù)存儲(chǔ)將接收到的文檔轉(zhuǎn)換成一系列向量數(shù)據(jù)庫(kù)嵌入，AI Agent 智能體可以利用這些嵌入來提取必要信息，以支持其后續(xù)操作或?qū)τ脩舻捻憫?yīng)。

為了使模型能夠獲取特定類型的知識(shí)，可以采用以下幾種策略：

? 上下文學(xué)習(xí)：在推理過程中，向通用模型提供提示詞、工具和一些示例，使其能夠即時(shí)學(xué)習(xí)如何以及在何時(shí)使用這些工具來執(zhí)行特定任務(wù)。自然語言處理中的反應(yīng)（ReAct）框架就是這種方法的一個(gè)例子。

? 基于檢索的上下文學(xué)習(xí)：動(dòng)態(tài)地通過從外部存儲(chǔ)器檢索最相關(guān)的信息、工具和示例來構(gòu)建模型提示詞。例如，Vertex AI 擴(kuò)展中的“示例存儲(chǔ)”或之前提到的基于數(shù)據(jù)存儲(chǔ)的檢索增強(qiáng)生成（RAG）架構(gòu)。

? 基于微調(diào)的學(xué)習(xí)：這涉及到在推理之前使用包含大量特定示例的數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練。這種方法有助于模型在處理用戶查詢之前就已經(jīng)學(xué)會(huì)了何時(shí)以及如何應(yīng)用某些工具。

7、實(shí)施與應(yīng)用

在 AI Agent 智能體的背景下，數(shù)據(jù)存儲(chǔ)通常被實(shí)現(xiàn)為向量數(shù)據(jù)庫(kù)，開發(fā)人員希望 AI Agent 智能體在運(yùn)行時(shí)能夠訪問這些數(shù)據(jù)庫(kù)。雖然這里不會(huì)深入討論向量數(shù)據(jù)庫(kù)，但關(guān)鍵是要理解它們以向量嵌入的形式存儲(chǔ)數(shù)據(jù)，這是一種高維向量或數(shù)據(jù)的數(shù)學(xué)表示。最近，數(shù)據(jù)存儲(chǔ)與語言模型結(jié)合使用的一個(gè)最典型的例子是基于檢索增強(qiáng)生成（RAG）的應(yīng)用程序?qū)崿F(xiàn)。這些應(yīng)用程序試圖通過讓模型訪問各種格式的數(shù)據(jù)，來擴(kuò)展模型知識(shí)的基礎(chǔ)訓(xùn)練數(shù)據(jù)之外的范圍和深度，例如：

? 網(wǎng)站內(nèi)容

? 結(jié)構(gòu)化數(shù)據(jù)，如 PDF、Word 文檔、CSV、電子表格等格式

? 非結(jié)構(gòu)化數(shù)據(jù)，如 HTML、PDF、TXT 等格式

上圖展示了 AI Agent 智能體與數(shù)據(jù)存儲(chǔ)之間的一對(duì)多關(guān)系，這些數(shù)據(jù)存儲(chǔ)可以代表各種類型的預(yù)索引數(shù)據(jù)。

每個(gè)用戶請(qǐng)求和 AI Agent 智能體響應(yīng)循環(huán)的底層過程通常如下圖所示。

• 用戶查詢被發(fā)送到嵌入模型以生成查詢的嵌入；
• 然后使用像 SCaNN 這樣的匹配算法將查詢嵌入與向量數(shù)據(jù)庫(kù)的內(nèi)容進(jìn)行匹配；
• 從向量數(shù)據(jù)庫(kù)中以文本格式檢索匹配的內(nèi)容并返回給 AI Agent 智能體；
• AI Agent 智能體接收用戶查詢和檢索到的內(nèi)容，然后制定響應(yīng)或行動(dòng)；?
• 最終響應(yīng)被發(fā)送給用戶。

最終結(jié)果是，應(yīng)用程序允許 AI Agent 智能體通過向量搜索將用戶查詢與已知數(shù)據(jù)存儲(chǔ)匹配，檢索原始內(nèi)容，并將其提供給編排層和模型進(jìn)行進(jìn)一步處理。下一個(gè)行動(dòng)可能是向用戶提供最終答案，或者執(zhí)行額外的向量搜索以進(jìn)一步精煉結(jié)果。

上圖展示了一個(gè)實(shí)現(xiàn) RAG 與 ReAct 推理/規(guī)劃的代理與用戶的示例交互。

8、總結(jié)

在本白皮書中，我們討論了生成式人工智能 AI Agent 智能體的基礎(chǔ)構(gòu)建塊、它們的組成以及有效實(shí)施它們的方法，即認(rèn)知架構(gòu)。本白皮書的一些關(guān)鍵收獲包括：

1. AI Agent 智能體通過利用工具來訪問實(shí)時(shí)信息、建立現(xiàn)實(shí)世界的行動(dòng)以及自主規(guī)劃執(zhí)行復(fù)雜任務(wù)，從而擴(kuò)展了語言模型的能力。AI Agent 智能體可以利用一個(gè)或多個(gè)語言模型來決定何時(shí)以及如何過渡狀態(tài)，并使用外部工具來完成模型自身難以或無法單獨(dú)完成的任何數(shù)量的復(fù)雜任務(wù)。
2. AI Agent 智能體操作的核心是編排層，這是一種認(rèn)知架構(gòu)，它結(jié)構(gòu)化了推理、規(guī)劃、決策制定并指導(dǎo)其行動(dòng)。各種推理技術(shù)，如 ReAct、思維鏈（Chain-of-Thought）和思維樹（Tree-of-Thoughts），為編排層提供了一個(gè)框架，以接收信息、進(jìn)行內(nèi)部推理并生成明智的決策或響應(yīng)。
3. 工具，如擴(kuò)展（Extensions）、函數(shù)（Functions）和數(shù)據(jù)存儲(chǔ)（Data Stores），是 AI Agent 智能體與外部世界互動(dòng)的鑰匙，使它們能夠與外部系統(tǒng)互動(dòng)并訪問超出其訓(xùn)練數(shù)據(jù)的知識(shí)。擴(kuò)展在 AI Agent 智能體和外部API 之間架起橋梁，使得執(zhí)行 API 調(diào)用和檢索實(shí)時(shí)信息成為可能。函數(shù)為開發(fā)者提供了更細(xì)致的控制，通過分工允許代理生成可以在客戶端執(zhí)行的函數(shù)參數(shù)。數(shù)據(jù)存儲(chǔ)為代理提供了結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)的訪問，使得數(shù)據(jù)驅(qū)動(dòng)的應(yīng)用程序成為可能。

AI Agent 智能體的未來充滿了激動(dòng)人心的進(jìn)步，我們只是開始觸及可能性的表面。隨著工具變得更加復(fù)雜和推理能力的增強(qiáng)，AI Agent 智能體將能夠解決越來越復(fù)雜的問題。此外，"AI Agent 智能體鏈"的戰(zhàn)略方法將繼續(xù)獲得勢(shì)頭。通過結(jié)合在特定領(lǐng)域或任務(wù)上表現(xiàn)出色的專業(yè)代理，我們可以創(chuàng)建一個(gè)“AI Agent 智能體專家混合”方法，能夠在各個(gè)行業(yè)和問題領(lǐng)域提供卓越的結(jié)果。

本文轉(zhuǎn)載自公眾號(hào)玄姐聊AGI  作者：玄姐

原文鏈接：??https://mp.weixin.qq.com/s/Ow7gAHSaLFyYO5luB0XPhg??