編者按： 當(dāng) AI Agent 執(zhí)行長(zhǎng)期任務(wù)時(shí)，如何有效管理和存儲(chǔ)它們的"記憶"？向量數(shù)據(jù)庫(kù)真的能滿(mǎn)足所有 AI Agent 的記憶需求嗎？

我們今天為大家?guī)?lái)的文章中，作者指出當(dāng)前主流的向量數(shù)據(jù)庫(kù)雖然能夠有效處理對(duì)話(huà)記憶，但無(wú)法完全滿(mǎn)足 Agentic AI 系統(tǒng)在長(zhǎng)期任務(wù)執(zhí)行過(guò)程中的多樣化記憶需求。

文章首先介紹了 Agentic AI 系統(tǒng)的基本概念，以營(yíng)銷(xiāo)案例說(shuō)明了其任務(wù)分解和執(zhí)行能力。隨后深入探討了向量數(shù)據(jù)庫(kù)在管理 AI 記憶方面的應(yīng)用及其局限性，特別指出了數(shù)據(jù)質(zhì)量問(wèn)題。作者借鑒人類(lèi)記憶機(jī)制，提出了一個(gè)創(chuàng)新的 Agentic 記憶架構(gòu)設(shè)計(jì)方案，包含記憶路由器、短期記憶模塊和長(zhǎng)期記憶模塊。這個(gè)架構(gòu)不僅可以處理語(yǔ)義記憶，還能通過(guò)知識(shí)圖譜存儲(chǔ)情景記憶，通過(guò)有限狀態(tài)機(jī)存儲(chǔ)程序記憶，從而更全面地滿(mǎn)足 AI Agent 的記憶需求。

作者 | Debmalya Biswas

編譯 | 岳揚(yáng)

圖：Agentic AI 記憶管理（圖片由作者提供）

01 Agentic AI 系統(tǒng)簡(jiǎn)介

AI Agent 是當(dāng)前的熱門(mén)話(huà)題。我之前對(duì)此有過(guò)撰述，其他人也正在熱議這個(gè)話(huà)題。然而，圍繞 Agentic AI 系統(tǒng)的具體定義，卻有不少爭(zhēng)議。它們與生成式 AI（Gen AI）或大語(yǔ)言模型（LLM）智能體究竟有何區(qū)別？

本節(jié)旨在通過(guò)分析 Agentic AI 系統(tǒng)在實(shí)施具體營(yíng)銷(xiāo)案例時(shí)的功能性與非功能性需求，為這場(chǎng)討論撥云見(jiàn)日 —— 具體見(jiàn)圖 1。

圖 1：Agentic AI 在營(yíng)銷(xiāo)案例中的應(yīng)用（圖片由作者提供）

面對(duì)用戶(hù)任務(wù)，Agent 平臺(tái)的目標(biāo)是找出能夠勝任該任務(wù)的 Agent（或 Agents 集群）。首先，我們需要的是一個(gè)能夠?qū)⑷蝿?wù)拆分為子任務(wù)的編排層（orchestration layer），并由編排引擎來(lái)協(xié)調(diào)各 Agent 的執(zhí)行。

目前，我們依靠 LLM 來(lái)處理任務(wù)分解，這就是與 Gen AI 的重疊之處。但遺憾的是，這也意味著當(dāng)前 Agentic AI 的推理能力受限于大語(yǔ)言模型（LLM）。

以 GPT4 為例，其對(duì)以下提示詞的任務(wù)分解在圖 1 中有詳細(xì)展示：“生成一項(xiàng)量身定制的電子郵件營(yíng)銷(xiāo)計(jì)劃，目標(biāo)是一個(gè)月內(nèi)實(shí)現(xiàn) 100 萬(wàn)美元的銷(xiāo)售目標(biāo)。相關(guān)產(chǎn)品及其性能數(shù)據(jù)可在 [url] 查詢(xún)。請(qǐng)接入 CRM 系統(tǒng) [integration]，獲取客戶(hù)姓名、電子郵件地址和人口統(tǒng)計(jì)詳細(xì)信息。”

分解步驟為：（分析產(chǎn)品）—（確定目標(biāo)群體）—（創(chuàng)建定制電子郵件營(yíng)銷(xiāo)活動(dòng)）。

接下來(lái)，系統(tǒng)將監(jiān)控執(zhí)行過(guò)程和執(zhí)行環(huán)境，并自主進(jìn)行調(diào)整。在本案例中，Agent 意識(shí)到無(wú)法達(dá)成銷(xiāo)售目標(biāo)，便自主增加了以下任務(wù)：（尋找替代產(chǎn)品）—（利用客戶(hù)數(shù)據(jù)）—（進(jìn)行A/B測(cè)試）。

值得一提的是，對(duì)于多數(shù)應(yīng)用場(chǎng)景，與企業(yè)系統(tǒng)的集成（如本例的 CRM 系統(tǒng)）是不可或缺的。例如，可以參考 Anthropic 最近提出的模型上下文協(xié)議（MCP）[1]，該協(xié)議旨在將 AI Agents 與存儲(chǔ)企業(yè)數(shù)據(jù)的外部系統(tǒng)相連接。

鑒于這類(lèi)任務(wù)的長(zhǎng)期運(yùn)行性質(zhì)，Agentic AI 系統(tǒng)的內(nèi)存管理顯得尤為關(guān)鍵。一旦啟動(dòng)了初步的電子郵件營(yíng)銷(xiāo)活動(dòng)后，Agents 就需要對(duì)其進(jìn)行為期一個(gè)月的監(jiān)控。

這就涉及到在任務(wù)間共享上下文以及在長(zhǎng)時(shí)間內(nèi)維持執(zhí)行上下文的連續(xù)性。

目前的做法是利用向量數(shù)據(jù)庫(kù)（Vector DBs）來(lái)外部存儲(chǔ) Agents 的記憶，確保數(shù)據(jù)項(xiàng)在需要時(shí)能夠被訪(fǎng)問(wèn)。 接下來(lái)，我們將深入探討以下細(xì)節(jié)：

• 如何通過(guò)向量數(shù)據(jù)庫(kù)管理 AI Agents 的記憶
• 以及相應(yīng)的數(shù)據(jù)質(zhì)量問(wèn)題。

我們會(huì)發(fā)現(xiàn)，盡管向量數(shù)據(jù)庫(kù)在處理會(huì)話(huà)記憶（如問(wèn)答對(duì)（Q&A pairs））時(shí)足夠用，但對(duì)于 agentic 任務(wù)來(lái)說(shuō)，它們?cè)诠芾硪韵骂~外記憶類(lèi)型時(shí)顯得力不從心：

• 語(yǔ)義記憶（通用知識(shí)）
• 情景記憶（個(gè)人體驗(yàn)）
• 程序記憶（技能與任務(wù)流程）

因此，我們強(qiáng)調(diào)需要采用其他形式（例如，知識(shí)圖譜、有限狀態(tài)機(jī)）來(lái)有效地對(duì)記憶存儲(chǔ)進(jìn)行管理。

02 利用向量數(shù)據(jù)庫(kù)進(jìn)行會(huì)話(huà)記憶管理

向量數(shù)據(jù)庫(kù)（Vector DBs）是專(zhuān)為存儲(chǔ)向量數(shù)據(jù)而設(shè)計(jì)，并能基于向量間的相似度來(lái)處理查詢(xún)。這類(lèi)數(shù)據(jù)庫(kù)當(dāng)前是存儲(chǔ)和提取對(duì)話(huà)智能體所需數(shù)據(jù)（記憶）的核心工具。圖 2 展示了如何利用向量數(shù)據(jù)庫(kù)對(duì)對(duì)話(huà)智能體進(jìn)行編碼和記憶管理。

圖 2：基于向量數(shù)據(jù)庫(kù)的編碼技術(shù)，用于 LLMs（圖片由作者提供）

這一過(guò)程涉及到選擇一個(gè)編碼器模型，該模型獨(dú)立于主流程，負(fù)責(zé)將不同類(lèi)型的原始數(shù)據(jù)（如文本、音頻和視頻）離線(xiàn)轉(zhuǎn)換為向量。在編碼空間中，相似的對(duì)話(huà)數(shù)據(jù)會(huì)被映射到彼此靠近的向量上。

例如，文本必須轉(zhuǎn)換為數(shù)值向量才能被計(jì)算機(jī)處理，這一轉(zhuǎn)換是通過(guò)分詞器（Tokenizers）完成的。token 可以是字節(jié)、字符、字符組合、單詞甚至是完整的句子。目前，字節(jié)對(duì)編碼（BPE）是最常用的分詞方法，它將一對(duì)相鄰的字節(jié)作為一個(gè) token。

選擇合適的“token”至關(guān)重要，因?yàn)樗粌H決定了神經(jīng)網(wǎng)絡(luò)能夠捕捉的 token 間關(guān)系，還影響著訓(xùn)練該網(wǎng)絡(luò)的計(jì)算復(fù)雜度。

這些編碼后的數(shù)據(jù)存儲(chǔ)在向量數(shù)據(jù)庫(kù)中，在推理階段，可以基于向量相似度，使用相同的編碼器模型來(lái)檢索這些數(shù)據(jù)。在對(duì)話(huà)過(guò)程中，對(duì)話(huà)智能體可以通過(guò)編碼查詢(xún)（query）內(nèi)容并在向量數(shù)據(jù)庫(kù)中搜索相關(guān)信息來(lái)訪(fǎng)問(wèn)長(zhǎng)期記憶系統(tǒng)。隨后，智能體會(huì)利用檢索到的信息來(lái)回答用戶(hù)的查詢(xún)（query），這些信息是基于之前存儲(chǔ)的數(shù)據(jù)。

2.1 向量數(shù)據(jù)庫(kù)中的數(shù)據(jù)質(zhì)量問(wèn)題

盡管數(shù)據(jù)質(zhì)量對(duì) AI 的重要性得到了普遍認(rèn)同，但目前企業(yè)對(duì)數(shù)據(jù)質(zhì)量的關(guān)注主要集中在對(duì)結(jié)構(gòu)化數(shù)據(jù) / SQL 數(shù)據(jù)的處理上。非結(jié)構(gòu)化數(shù)據(jù)，如文本、圖像、音頻和視頻，幾乎占據(jù)了與企業(yè)生成式 AI（Gen AI）使用場(chǎng)景相關(guān)的 80% 的數(shù)據(jù)，卻往往被忽視。 本節(jié)我們將探討：

對(duì)于存儲(chǔ)在向量數(shù)據(jù)庫(kù)中的非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)質(zhì)量的標(biāo)準(zhǔn)是什么？特別是在檢索增強(qiáng)生成（RAG）的應(yīng)用場(chǎng)景中。

結(jié)合微調(diào)技術(shù)，RAG 成為了將預(yù)訓(xùn)練的大語(yǔ)言模型（LLM）與企業(yè)數(shù)據(jù)相結(jié)合，增強(qiáng)其上下文相關(guān)性和同時(shí)在此過(guò)程減少幻覺(jué)產(chǎn)生的關(guān)鍵手段之一（見(jiàn)圖 3 的 Gen AI 生命周期階段）。

圖 3：Gen AI 生命周期階段（圖片由作者提供）

面對(duì)用戶(hù)查詢(xún)，RAG 流程包括以下三個(gè)步驟（見(jiàn)圖 4）：

• 檢索：將用戶(hù)查詢(xún)轉(zhuǎn)換為向量形式的嵌入，以計(jì)算其與其他內(nèi)容的相似度得分。
• 增強(qiáng)：利用從向量存儲(chǔ)中檢索到的最新搜索結(jié)果/上下文進(jìn)行信息補(bǔ)充。
• 生成：通過(guò)將檢索到的信息片段整合到提示詞模板中，為 LLM 提供額外的上下文，從而生成針對(duì)查詢(xún)的上下文響應(yīng)。

我們首先來(lái)看看當(dāng)前結(jié)構(gòu)化數(shù)據(jù) / SQL 數(shù)據(jù)世界中常見(jiàn)的數(shù)據(jù)質(zhì)量維度：

• 準(zhǔn)確性：數(shù)據(jù)反映現(xiàn)實(shí)情況的精確度如何？
• 完整性：數(shù)據(jù)是否存在缺失值或空值？
• 一致性：信息在不同位置存儲(chǔ)時(shí)是否保持一致？
• 及時(shí)性：數(shù)據(jù)的時(shí)間戳反映了其新鮮程度。

接下來(lái)，我們將它們應(yīng)用于非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域/向量數(shù)據(jù)庫(kù) —— 具體見(jiàn)下圖 4。

圖 4：RAG — 向量數(shù)據(jù)庫(kù)中的數(shù)據(jù)質(zhì)量問(wèn)題（圖片由作者提供）

在向量數(shù)據(jù)庫(kù)領(lǐng)域，集合（collection）相當(dāng)于 SQL 數(shù)據(jù)庫(kù)中的表（table），每個(gè)集合項(xiàng)通常包含：唯一標(biāo)識(shí)符（ID）、向量（實(shí)際數(shù)據(jù)，以浮點(diǎn)數(shù)數(shù)組形式存儲(chǔ)）和元數(shù)據(jù)（例如，時(shí)間戳）。

準(zhǔn)確性：指的是向量存儲(chǔ)中數(shù)據(jù)的精確度。試想，如果 AI 基于錯(cuò)誤信息撰寫(xiě)新聞，可能會(huì)產(chǎn)生虛假新聞而非有價(jià)值的內(nèi)容。我們通過(guò)以下兩個(gè)指標(biāo)來(lái)衡量這一點(diǎn)：

• 正確性：涉及 LLM 響應(yīng)的事實(shí)準(zhǔn)確性，
• 基礎(chǔ)性：涉及 LLM 響應(yīng)與底層知識(shí)庫(kù)（KB）的關(guān)系。

研究發(fā)現(xiàn)[2]，即使模型響應(yīng)是正確的，也可能缺乏適當(dāng)?shù)囊罁?jù)。

錯(cuò)誤和不一致的向量：由于嵌入過(guò)程中的問(wèn)題，一些向量可能受損、不完整，或者以錯(cuò)誤的維度生成，這可能導(dǎo)致 AI 輸出混亂或脫節(jié)。例如，如果 AI 基于音質(zhì)參差不齊的錄音生成音頻，結(jié)果可能會(huì)顯得不連貫。在文本生成中，數(shù)據(jù)中的語(yǔ)法或語(yǔ)氣不一致可能導(dǎo)致內(nèi)容生硬或脫節(jié)。

缺失數(shù)據(jù)的形式可以是缺失向量或元數(shù)據(jù)。例如，如果生成式 AI 從數(shù)據(jù)不完整的數(shù)據(jù)集中生成視覺(jué)設(shè)計(jì)，可能會(huì)產(chǎn)出帶有缺失元素的設(shè)計(jì)。

及時(shí)性：如果為 RAG pipeline 中的提示詞提供上下文向量的數(shù)據(jù)庫(kù)中的文檔已經(jīng)過(guò)時(shí)，那么生成式 AI 系統(tǒng)可能會(huì)產(chǎn)生不相關(guān)的輸出。例如，如果一個(gè)啟用了生成式 AI 的聊天機(jī)器人基于過(guò)時(shí)的政策文件回答問(wèn)題，就可能會(huì)提供不準(zhǔn)確且具有誤導(dǎo)性的答案。

03 Agentic Memory

盡管上述方法能夠有效地將對(duì)話(huà)存儲(chǔ)為問(wèn)答對(duì)并實(shí)現(xiàn)檢索，但它并不足以滿(mǎn)足 Agentic AI 系統(tǒng)所需的其他記憶類(lèi)型，這些記憶類(lèi)型對(duì)于復(fù)制或改進(jìn)人類(lèi)行為至關(guān)重要，尤其是以下四種：

• 語(yǔ)義記憶（Semantic memory）—— 存儲(chǔ)事實(shí)、概念、意義等通用知識(shí)。
• 情景記憶（Episodic memory）—— 記錄與過(guò)去特定事件和情境相關(guān)的個(gè)人經(jīng)歷。
• 程序記憶（Procedural memory）—— 存儲(chǔ)如駕駛汽車(chē)等運(yùn)動(dòng)技能，以及完成任務(wù)的相應(yīng)程序步驟。
• 情感記憶（Emotional memory）—— 保存與個(gè)體經(jīng)歷相關(guān)的情感體驗(yàn)。

3.1 理解人類(lèi)記憶

在本節(jié)中，我們首先探討人類(lèi)大腦如何處理短期記憶和長(zhǎng)期記憶 —— 如圖 5 所示。

圖 5：人類(lèi)大腦的記憶管理（圖片由作者提供）

記憶的形成始于感覺(jué)系統(tǒng)，來(lái)自外界的信息首先進(jìn)入感覺(jué)記憶（sensory memory）。這一初始階段以原始形式保存感覺(jué)信息，但持續(xù)時(shí)間極短，通常僅有幾百毫秒。

隨后，被我們注意到的信息會(huì)轉(zhuǎn)移到短期記憶（STM）。短期記憶的容量有限，僅能保存大約 7 個(gè)信息塊，且持續(xù)時(shí)間約為 20 到 30 秒。它是我們進(jìn)行思考、解決問(wèn)題和做出決策等有意識(shí)心理活動(dòng)的場(chǎng)所。

信息要從短期記憶轉(zhuǎn)移到長(zhǎng)期記憶（LTM），需要經(jīng)過(guò)編碼過(guò)程，將其轉(zhuǎn)化為更持久且具有意義的表征。

編碼通過(guò)多種機(jī)制實(shí)現(xiàn)（例如重復(fù)、精細(xì)加工，或與已有知識(shí)建立關(guān)聯(lián)）。

成功編碼后，信息會(huì)進(jìn)入長(zhǎng)期記憶。長(zhǎng)期記憶的容量極大，能夠存儲(chǔ)信息長(zhǎng)達(dá)數(shù)小時(shí)，甚至一生。

記憶的檢索系統(tǒng)依賴(lài)于與上下文信息的關(guān)聯(lián)。外部和內(nèi)部的檢索線(xiàn)索通過(guò)重現(xiàn)編碼時(shí)的情境，幫助我們提取特定記憶。

• 回憶是指在沒(méi)有外部線(xiàn)索的情況下，主動(dòng)重建信息的過(guò)程。
• 再認(rèn)則是指在多個(gè)選項(xiàng)中識(shí)別出之前遇到的信息。
• 此外，檢索策略如促發(fā)（priming）、記憶技巧（mnemonic techniques）、分塊（chunking）和復(fù)述（rehearsal），能夠顯著提升記憶的提取效率。

3.2 映射到 Agentic 記憶

基于我們對(duì)人類(lèi)大腦的理解和 AI Agents / 應(yīng)用的要求，我們需要考慮以下記憶類(lèi)型 —— 如圖 6 所示：

• 語(yǔ)義知識(shí)：來(lái)自外部（如 Wikipedia）和內(nèi)部系統(tǒng)（如 Sharepoint、Confluence、文檔、消息平臺(tái)等）的信息。
• 情景記憶：特定過(guò)去事件和情境的記憶。這些內(nèi)容是在 AI Agents 運(yùn)行過(guò)程中獲得的。
• 程序記憶：類(lèi)似于人類(lèi)記住游泳或開(kāi)車(chē)等運(yùn)動(dòng)技能的方式。它涵蓋了描述 AI Agents 如何實(shí)現(xiàn)特定任務(wù)的工作流和程序。
• 情感記憶：記錄與個(gè)體經(jīng)驗(yàn)相關(guān)的情感。涉及用戶(hù)關(guān)系、偏好、反應(yīng)和相關(guān)數(shù)據(jù)，使 AI 在用戶(hù)交互中更具人性，并在用戶(hù)互動(dòng)中保持一致。

語(yǔ)義記憶可能是目前唯一在 LLM 中通過(guò)預(yù)訓(xùn)練和嵌入可實(shí)現(xiàn)的記憶類(lèi)型 —— 其他記憶類(lèi)型仍在開(kāi)發(fā)中。

在后續(xù)部分，我們將展示如何為 Agentic AI 系統(tǒng)實(shí)現(xiàn)一個(gè)全面的記憶管理模塊 —— 如圖 6 所示。

圖 6：Agentic AI 記憶管理（圖片由作者提供）

記憶路由器默認(rèn)總是將請(qǐng)求路由到長(zhǎng)期記憶 (LTM) 模塊，以查看是否存在現(xiàn)有模式來(lái)響應(yīng)給定的用戶(hù)提示詞。如果有，它就會(huì)檢索并立即做出響應(yīng)，根據(jù)需要進(jìn)行個(gè)性化處理。

如果 LTM 失效，記憶路由器將其路由到短期記憶 (STM) 模塊，該模塊然后使用其檢索過(guò)程（函數(shù)調(diào)用、API 等）將相關(guān)上下文檢索到 STM（工作記憶）中，并充分利用適用的數(shù)據(jù)服務(wù)。

STM-LTM 變換模塊始終處于活動(dòng)狀態(tài)，并不斷獲取檢索到的上下文，從中提取“recipes”（例如，參考可教學(xué)智能體和 AutoGen 中的“recipes”概念），并存儲(chǔ)在語(yǔ)義層（通過(guò)向量數(shù)據(jù)庫(kù)實(shí)現(xiàn)）。與此同時(shí)，它還在收集其他相關(guān)屬性（例如，token 數(shù)量、產(chǎn)生模型響應(yīng)的成本、系統(tǒng)狀態(tài)、執(zhí)行的任務(wù)/生成的響應(yīng)），并創(chuàng)建一個(gè) episode，然后將其存儲(chǔ)在知識(shí)圖譜中，其中底層過(guò)程存儲(chǔ)在有限狀態(tài)機(jī)（FSM）中。

04 Conclusion

總而言之，記憶管理對(duì)于長(zhǎng)期運(yùn)行的 AI Agents 的廣泛應(yīng)用至關(guān)重要。雖然向量數(shù)據(jù)庫(kù)在處理對(duì)話(huà)式智能體時(shí)表現(xiàn)出色，但我們發(fā)現(xiàn)它們無(wú)法滿(mǎn)足復(fù)雜 Agentic AI 任務(wù)多樣化的記憶需求，尤其是情景記憶（episodic memory）和程序記憶（procedural memory）。

在這篇文章中，我們提出了一種 Agentic 記憶架構(gòu)的初步設(shè)計(jì)方案，其中記憶路由器（memory router）負(fù)責(zé)在短期記憶模塊（STM）和長(zhǎng)期記憶模塊（LTM）之間進(jìn)行請(qǐng)求調(diào)度。我們的主要貢獻(xiàn)是一個(gè)從 STM 到 LTM 的轉(zhuǎn)換器模塊，該模塊能夠?qū)⑶榫坝洃洺橄蟛⒋鎯?chǔ)在知識(shí)圖譜（knowledge graphs）中，將程序記憶存儲(chǔ)在有限狀態(tài)機(jī)（FSMs）中。目前，我們正在積極優(yōu)化 Agentic AI 系統(tǒng)中長(zhǎng)期記憶（LTM）的存儲(chǔ)和檢索機(jī)制（包括探索其他形式的方法）。

Thanks for reading!

Hope you have enjoyed and learned new things from this blog!

About the authors

Debmalya Biswas

AI/ML, Privacy and Open Source | x-Nokia, SAP, Oracle | 50+ Patents ??https://www.linkedin.com/in/debmalya-biswas-3975261/??

END

本期互動(dòng)內(nèi)容 ??

?作者借鑒了人類(lèi)大腦的記憶機(jī)制來(lái)設(shè)計(jì) AI 記憶架構(gòu)。你覺(jué)得人類(lèi)記憶系統(tǒng)中還有哪些特性值得 AI 系統(tǒng)借鑒？

??文中鏈接??

[1]??https://www.anthropic.com/news/model-context-protocol??

[2]??https://dho.stanford.edu/wp-content/uploads/Legal_RAG_Hallucinations.pdf??

原文鏈接：

??https://ai.gopubby.com/long-term-memory-for-agentic-ai-systems-4ae9b37c6c0f??