高效信息檢索新方法：LangChain中Retriever的多種高級策略 原創
在當今的信息時代，如何高效檢索信息變得至關重要，尤其是在面對海量數據時。LangChain作為一個強大的工具集，通過不同類型的Retriever為用戶提供高效的信息檢索解決方案。本文將為大家介紹在LangChain中如何運用三種先進的Retriever策略，包括向量存儲檢索器（Vector Store Retriever）、多查詢檢索器（MultiQueryRetriever）、以及上下文壓縮檢索器（Contextual Compression Retriever）。無論是快速獲取相關文檔，還是針對特定上下文的精準信息提取，這些Retriever都能極大提升LLM（大型語言模型）的實用性和用戶體驗。
01、向量存儲檢索器：高效檢索的核心技術
向量存儲檢索器是一種通過向量表示來實現文檔檢索的技術，它能夠將查詢轉換為向量，與文檔庫中的向量進行比對，從而找到最相關的內容。通過向量存儲的方式，Retriever可以非常高效地從大量文檔中找到符合查詢條件的內容。
使用向量存儲作為Retriever
在LangChain中，創建向量存儲檢索器非常簡單，以下是具體步驟：
- 數據加載：我們從CSV文件中加載客戶評論，并進行文本分割。
- 創建向量存儲：使用向量化工具（如Pinecone）對文本進行向量化。
- 創建Retriever：將向量存儲配置為Retriever，可以進行相似度搜索或設置特定參數。
示例代碼：
from langchain_community.document_loaders import CSVLoader
from langchain_community.vectorstores import Pinecone
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter
# 加載數據
loader = CSVLoader("customer_reviews.csv")
documents = loader.load()
# 文本分割
text_splitter = CharacterTextSplitter(chunk_size=500, chunk_overlap=50)
texts = text_splitter.split_documents(documents)
# 向量化
embeddings = OpenAIEmbeddings()
vectorstore = Pinecone.from_documents(texts, embeddings)
# 配置Retriever
retriever = vectorstore.as_retriever()使用此Retriever可以方便地執行查詢，比如想要了解“用戶對電池續航的評價”，代碼如下：
docs = retriever.invoke("What do customers think about the battery life?")通過設置不同的檢索參數，比如相似度得分閾值或結果數量（top-k），可以進一步優化檢索效果。
02、多查詢檢索器：多視角的精準檢索
多查詢檢索器（MultiQueryRetriever）是一種增強的向量數據庫檢索技術。通過自動化的提示調整，結合大型語言模型（LLM）生成多種視角的查詢，可以覆蓋不同的查詢表達方式，從而獲得更全面的檢索結果。它適用于用戶輸入模糊或存在多種解讀可能的情況。
構建多查詢檢索器的示例
以下代碼展示了如何使用多查詢檢索器來檢索“客戶在智能手機上最看重的特性”：
from langchain.retrievers.multi_query import MultiQueryRetriever
from langchain_openai import ChatOpenAI
# 創建查詢
question = "What features do customers value in smartphones?"
llm = ChatOpenAI(temperature=0)
# 初始化MultiQueryRetriever
retriever_from_llm = MultiQueryRetriever.from_llm(
retriever=vectordb.as_retriever(), llm=llm
)
unique_docs = retriever_from_llm.invoke(question)通過這種方法，多查詢檢索器生成了多個不同角度的查詢，以增加檢索的多樣性和相關性。這一策略尤其適用于復雜或多意圖的查詢，確保返回結果更全面。
自定義查詢提示
用戶還可以為多查詢檢索器自定義查詢提示，以更好地滿足特定應用需求。例如，我們可以使用PromptTemplate創建自定義查詢模板：
from langchain.retrievers.multi_query import MultiQueryRetriever
from langchain_openai import ChatOpenAI
# 創建查詢
question = "What features do customers value in smartphones?"
llm = ChatOpenAI(temperature=0)
# 初始化MultiQueryRetriever
retriever_from_llm = MultiQueryRetriever.from_llm(
retriever=vectordb.as_retriever(), llm=llm
)
unique_docs = retriever_from_llm.invoke(question)通過這種方式，多查詢檢索器在滿足用戶的查詢需求的同時，還能根據不同的需求進行自定義調整。
03、上下文壓縮檢索器：優化信息的精確提取
在大型文檔中檢索有用信息時，常常會遇到冗長且不相關的信息。上下文壓縮檢索器（Contextual Compression Retriever）能夠通過上下文壓縮技術，將檢索結果優化為用戶真正需要的內容，從而避免浪費資源。
上下文壓縮的工作原理
上下文壓縮檢索器結合了基礎檢索器和文檔壓縮器，通過提取與查詢相關的內容來壓縮檢索結果。具體步驟如下：
- 基礎檢索：先使用基礎的向量存儲檢索器進行初步查詢。
- 壓縮檢索：結合大型語言模型進一步提取與查詢最相關的信息，過濾掉無關部分。
以下是一個使用上下文壓縮檢索器的示例：
from langchain.retrievers import ContextualCompressionRetriever
from langchain.retrievers.document_compressors import LLMChainExtractor
from langchain_openai import OpenAI
# 初始化LLM和壓縮器
llm = OpenAI(temperature=0)
compressor = LLMChainExtractor.from_llm(llm)
# 配置上下文壓縮檢索器
compression_retriever = ContextualCompressionRetriever(
base_compressor=compressor, base_retriever=retriever
)
compressed_docs = compression_retriever.invoke("What actions are being proposed to combat climate change?")通過上下文壓縮檢索器，返回的內容更加精確且切中要害。這一技術尤其適用于需要精準回答的場景，如政策分析或新聞報道。
04、自定義檢索器：打造個性化的檢索工具
LangChain中還提供了靈活的接口，允許用戶根據自己的需求創建自定義檢索器。通過擴展BaseRetriever類并實現核心方法，用戶可以定制符合自身應用場景的檢索邏輯。以下是一個簡單的示例，展示如何實現自定義檢索器：
from typing import List
from langchain_core.documents import Document
from langchain_core.retrievers import BaseRetriever
class CustomRetriever(BaseRetriever):
"""一個簡單的檢索器，根據查詢返回包含關鍵字的文檔。"""
documents: List[Document]
k: int
def _get_relevant_documents(self, query: str) -> List[Document]:
matching_documents = [doc for doc in self.documents if query.lower() in doc.page_content.lower()]
return matching_documents[:self.k]
# 示例
documents = [
Document("Dogs are great companions.", {"type": "dog"}),
Document("Cats are independent pets.", {"type": "cat"}),
]
retriever = CustomRetriever(documents=documents, k=1)
result = retriever.invoke("dog")
print(result[0].page_content) # Output: "Dogs are great companions."這種自定義檢索器可以應用于特定場景，比如公司內部資料或特定主題的文檔搜索，滿足多樣化的應用需求。
05、結論：靈活高效的信息檢索
在LangChain框架中，Retriever是實現高效信息檢索的核心組件。通過學習和運用不同的Retriever類型——向量存儲檢索器、多查詢檢索器和上下文壓縮檢索器，開發者可以根據不同的應用場景選擇合適的工具，優化信息檢索的準確性和效率。此外，LangChain還提供了靈活的自定義功能，使得開發者能夠基于特定需求構建個性化的檢索器。
掌握這些Retriever策略，可以幫助開發者在LLM應用中更好地管理大數據集，提升用戶體驗，實現高效的知識訪問和信息提取。無論是在客戶服務、教育還是金融等領域，這些技術都能為復雜應用場景提供便捷、高效的信息解決方案。
參考：
本文轉載自公眾號Halo咯咯 作者：基咯咯
