拆解 LangChain 的大模型記憶方案

作者：程序員半支煙 2024-07-12 14:53:42

人工智能

本文主要聊了安裝記憶的基本原理、快速給LLM安裝記憶、ConversationBufferMemory、MessagesPlaceholder的使用、對話鏈ConversationChain的使用和原理。

之前我們聊過如何使用LangChain給LLM（大模型）裝上記憶，里面提到對話鏈ConversationChain和MessagesPlaceholder，可以簡化安裝記憶的流程。下文來拆解基于LangChain的大模型記憶方案。

1. 安裝記憶的原理

(1) 核心步驟

給LLM安裝記憶的核心步驟就3個：

在對話之前調取之前的歷史消息。
將歷史消息填充到Prompt里。
對話結束后，繼續將歷史消息保存到到memory記憶中。

(2) 常規使用方法的弊端

了解這3個核心步驟后，在開發過程中，就需要手動寫代碼實現這3步，這也比較麻煩，不僅代碼冗余，而且容易遺漏這些模板代碼。

為了讓開發者聚焦于業務實現，LangChain貼心地封裝了這一整套實現。使用方式如下。

2. 記憶的種類

記憶分為短時記憶和長時記憶。

在LangChain中使用ConversationBufferMemory作為短時記憶的組件，實際上就是以鍵值對的方式將消息存在內存中。

如果碰到較長的對話，一般使用ConversationSummaryMemory對上下文進行總結，再交給大模型。或者使用ConversationTokenBufferMemory基于固定的token數量進行內存刷新。

如果想對記憶進行長時間的存儲，則可以使用向量數據庫進行存儲（比如FAISS、Chroma等），或者存儲到Redis、Elasticsearch中。

下面以ConversationBufferMemory為例，對如何快速安裝記憶做個實踐。

3. 給LLM安裝記憶 — 非MessagesPlaceholder

(1)ConversationBufferMemory使用示例

使用ConversationBufferMemory進行記住上下文：

memory = ConversationBufferMemory()
memory.save_context(
    {"input": "你好，我的名字是半支煙，我是一個程序員"}, {"output": "你好，半支煙"}
)
memory.load_memory_variables({})

(2)LLMChain+ConversationBufferMemory使用示例

# prompt模板
template = """
你是一個對話機器人，以下<history>標簽中是AI與人類的歷史對話記錄，請你參考歷史上下文，回答用戶輸入的問題。

歷史對話:
<history>
{customize_chat_history}
</history>

人類:{human_input}
機器人:

"""

prompt = PromptTemplate(
    template=template,
    input_variables=["customize_chat_history", "human_input"],
)
memory = ConversationBufferMemory(
    memory_key="customize_chat_history",
)
model = ChatOpenAI(
    model="gpt-3.5-turbo",
)

chain = LLMChain(
    llm=model,
    memory=memory,
    prompt=prompt,
    verbose=True,
)

chain.predict(human_input="你知道我的名字嗎？")

# chain.predict(human_input="我叫半支煙，我是一名程序員")

# chain.predict(human_input="你知道我的名字嗎？")

此時，已經給LLM安裝上記憶了，免去了我們寫那3步核心的模板代碼。

對于PromptTemplate使用以上方式，但ChatPromptTemplate因為有多角色，所以需要使用MessagesPlaceholder。具體使用方式如下。

4. 給LLM安裝記憶 — MessagesPlaceholder

MessagesPlaceholder主要就是用于ChatPromptTemplate場景。ChatPromptTemplate模式下，需要有固定的格式。

(1) PromptTemplate和ChatPromptTemplate區別

ChatPromptTemplate主要用于聊天場景。ChatPromptTemplate有多角色，第一個是System角色，后續的是Human與AI角色。因為需要有記憶，所以之前的歷史消息要放在最新問題的上方。

(2) 使用MessagesPlaceholder安裝

最終的ChatPromptTemplate + MessagesPlaceholder代碼如下：

chat_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "你是一個樂于助人的助手。"),
        MessagesPlaceholder(variable_name="customize_chat_history"),
        ("human", "{human_input}"),
    ]
)

memory = ConversationBufferMemory(
    memory_key="customize_chat_history",
    return_messages=True,
)
model = ChatOpenAI(
    model="gpt-3.5-turbo",
)

chain = LLMChain(
    llm=model,
    memory=memory,
    prompt=chat_prompt,
    verbose=True,
)

chain.predict(human_input="你好，我叫半支煙，我是一名程序員。")

至此，我們使用了ChatPromptTemplate簡化了構建prompt的過程。

5.使用對話鏈ConversationChain

如果連ChatPromptTemplate都懶得寫了，那直接使用對話鏈ConversationChain，讓一切變得更簡單。實踐代碼如下：

memory = ConversationBufferMemory(
    memory_key="history",  # 此處的占位符必須是history
    return_messages=True,
)
model = ChatOpenAI(
    model="gpt-3.5-turbo",
)

chain = ConversationChain(
    llm=model,
    memory=memory,
    verbose=True,
)

chain.predict(input="你好，我叫半支煙，我是一名程序員。")  # 此處的變量必須是input

ConversationChain提供了包含AI角色和人類角色的對話摘要格式。ConversationChain實際上是對Memory和LLMChain和ChatPrompt進行了封裝，簡化了初始化Memory和構建ChatPromptTemplate的步驟。

6. ConversationBufferMemory

(1) memory_key

ConversationBufferMemory有一個入參是memory_key，表示內存中存儲的本輪對話的鍵，后續可以根據鍵找到對應的值。

(2) 使用"chat_history"還是"history"

ConversationBufferMemory的memory_key，有些資料里是設置是memory_key="history"，有些資料里是"chat_history"。

這里有2個規則，如下：

在使用MessagesPlaceholder和ConversationBufferMemory時，MessagesPlaceholder的variable_name和ConversationBufferMemory的memory_key可以自定義，只要相同就可以。比如這樣：

chat_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "你是一個樂于助人的助手。"),
        MessagesPlaceholder(variable_name="customize_chat_history"),
        ("human", "{input}"),
    ]
)

memory = ConversationBufferMemory(
    memory_key="customize_chat_history",  # 此處的占位符可以是自定義
    return_messages=True,
)
model = ChatOpenAI(
    model="gpt-3.5-turbo",
)

chain = ConversationChain(
    llm=model,
    memory=memory,
    prompt=chat_prompt,
    verbose=True,
)

chain.predict(input="你好，我叫半支煙，我是一名程序員。")  # 此處的變量必須是input

如果只是使用ConversationChain，又沒有使用MessagesPlaceholder的場景下，ConversationBufferMemory的memory_key，必須用history。

7. MessagesPlaceholder的使用場景

MessagesPlaceholder其實就是在與AI對話過程中的Prompt的一部分，它代表Prompt中的歷史消息這部分。它提供了一種結構化和可配置的方式來處理這些消息列表，使得在構建復雜Prompt時更加靈活和高效。

說白了它就是個占位符，相當于把從memory讀取的歷史消息插入到這個占位符里了。

比如這樣，就可以表示之前的歷史對話消息：

chat_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "你是一個樂于助人的助手。"),
        MessagesPlaceholder(variable_name="customize_chat_history"),
        ("human", "{human_input}"),
    ]
)

是否需要使用MessagesPlaceholder，記住2個原則：

PromptTemplate類型的模板，無需使用MessagesPlaceholder
ChatPromptTemplate 類型的聊天模板，需要使用MessagesPlaceholder。但是在使用ConversationChain時，可以省去創建ChatPromptTemplate的過程（也可以不省去）。省去和不省去在輸出過程中有些區別，如下：

總結

本文主要聊了安裝記憶的基本原理、快速給LLM安裝記憶、ConversationBufferMemory、MessagesPlaceholder的使用、對話鏈ConversationChain的使用和原理。希望對你有幫助！

責任編輯：趙寧寧來源：程序員半支煙

LangChain