pip install ragas

# 配置OpenAI API環(huán)境變量
import os
os.environ["OPENAI_API_KEY"] = "hk-iwtbie100a91e427"
os.environ["OPENAI_API_BASE"] = "https://api.openai-hk.com/v1"
# 導(dǎo)入RAG系統(tǒng)所需的核心庫(kù)
from langchain.document_loaders import PyPDFLoader  # PDF文檔加載器
from langchain.text_splitter import RecursiveCharacterTextSplitter  # 文本分割器，用于將長(zhǎng)文檔分割成小塊
from langchain_chroma import Chroma  # Chroma向量數(shù)據(jù)庫(kù)，用于存儲(chǔ)和檢索文檔嵌入
from langchain.embeddings import SentenceTransformerEmbeddings  # 句子嵌入模型，用于將文本轉(zhuǎn)換為向量
# 創(chuàng)建PDF加載器實(shí)例，指定BERT論文的路徑
loader = PyPDFLoader('./bert.pdf')

# 加載PDF文檔，返回文檔對(duì)象列表
# 每個(gè)文檔對(duì)象包含頁(yè)面內(nèi)容和元數(shù)據(jù)（如頁(yè)碼、來(lái)源等）
docs = loader.load()
# 導(dǎo)入聊天提示詞模板類(lèi)
from langchain.prompts import ChatPromptTemplate

# 定義RAG系統(tǒng)的提示詞模板
# 這個(gè)模板將指導(dǎo)LLM如何使用檢索到的上下文來(lái)回答問(wèn)題
template = """You are an assistant for question-answering tasks.
Use the following pieces of retrieved context to answer the question.
If you don't know the answer, just say that you don't know.
Use three sentences maximum and keep the answer concise.
Question: {question}
Context: {context}
Answer:
"""

# 從模板字符串創(chuàng)建ChatPromptTemplate對(duì)象
# 這個(gè)對(duì)象可以接受question和context參數(shù)來(lái)生成完整的提示詞
prompt = ChatPromptTemplate.from_template(template)
# print(prompt)

# 導(dǎo)入OpenAI聊天模型和字符串輸出解析器
from langchain_openai import ChatOpenAI
from langchain.schema.output_parser import StrOutputParser

defrag_chain():
    """
    創(chuàng)建并返回RAG處理鏈
    
    Returns:
        Chain: 完整的RAG處理鏈，包含提示詞模板、語(yǔ)言模型和輸出解析器
    """
    # 初始化OpenAI的GPT-4o-mini模型
    # temperature=0 確保輸出的一致性和確定性
    llm = ChatOpenAI(model_name="gpt-4o-mini", temperature=0)
    
    # 使用管道操作符 | 連接處理鏈的各個(gè)組件
    # 處理流程: 提示詞模板 -> 語(yǔ)言模型 -> 字符串解析器
    rag_chain = (
        prompt          # 1. 格式化提示詞
        | llm           # 2. 發(fā)送給語(yǔ)言模型處理
        | StrOutputParser()  # 3. 解析輸出為字符串
    )
    return rag_chain
# 導(dǎo)入父文檔檢索器相關(guān)組件
from langchain.retrievers import ParentDocumentRetriever  # 父文檔檢索器核心類(lèi)
from langchain.storage import InMemoryStore              # 內(nèi)存存儲(chǔ)，用于存儲(chǔ)父文檔

# 配置文檔分割策略
# 父文檔分割器：創(chuàng)建較大的文檔塊，保持上下文完整性
parent_splitter = RecursiveCharacterTextSplitter(chunk_size=1500)  # 父文檔塊大小：1500字符

# 子文檔分割器：創(chuàng)建較小的文檔塊，提高檢索精度
child_splitter = RecursiveCharacterTextSplitter(chunk_size=200)    # 子文檔塊大小：200字符

# 初始化嵌入模型
# 使用輕量級(jí)但高效的all-MiniLM-L6-v2模型進(jìn)行文本向量化
embeddings = SentenceTransformerEmbeddings(model_name="all-MiniLM-L6-v2")

# 創(chuàng)建向量數(shù)據(jù)庫(kù)
# 用于存儲(chǔ)子文檔的向量表示，支持語(yǔ)義相似性搜索
vectorstore = Chroma(
    collection_name="split_parents",    # 集合名稱(chēng)
    embedding_function=embeddings       # 嵌入
)

# 創(chuàng)建內(nèi)存存儲(chǔ)
# 用于存儲(chǔ)父文檔的完整內(nèi)容，通過(guò)ID快速檢索
store = InMemoryStore()
# 創(chuàng)建父文檔檢索器實(shí)例
# 這是整個(gè)檢索系統(tǒng)的核心組件，整合了所有必要的組件
parent_document_retriever = ParentDocumentRetriever(
    vectorstore=vectorstore,          # 向量數(shù)據(jù)庫(kù)：存儲(chǔ)子文檔的向量表示
    docstore=store,                   # 文檔存儲(chǔ)：存儲(chǔ)父文檔的完整內(nèi)容
    child_splitter=child_splitter,    # 子文檔分割器：用于創(chuàng)建小塊進(jìn)行精確匹配
    parent_splitter=parent_splitter,  # 父文檔分割器：用于創(chuàng)建大塊提供豐富上下文
)
# 將加載的文檔添加到父文檔檢索器中
# 這個(gè)過(guò)程會(huì)自動(dòng)執(zhí)行以下操作：
# 1. 使用parent_splitter將文檔分割成父文檔塊
# 2. 使用child_splitter將父文檔塊進(jìn)一步分割成子文檔塊
# 3. 將子文檔塊向量化并存儲(chǔ)到vectorstore中
# 4. 將父文檔塊存儲(chǔ)到docstore中，并建立父子關(guān)系映射
parent_document_retriever.add_documents(docs)

# 定義評(píng)估問(wèn)題集合
# 這些問(wèn)題涵蓋了BERT論文的關(guān)鍵技術(shù)點(diǎn)，用于全面評(píng)估RAG系統(tǒng)的性能
questions = [
    "What are the two main tasks BERT is pre-trained on?",
    "What model sizes are reported for BERT, and what are their specifications?",
    "How does BERT's architecture facilitate the use of a unified model across diverse NLP tasks?"
]

# 定義標(biāo)準(zhǔn)答案（Ground Truth）
ground_truths = [
        "Masked LM (MLM) and Next Sentence Prediction (NSP).",
        "BERTBASE (L=12, H=768, A=12, Total Parameters=110M) and BERTLARGE (L=24, H=1024, A=16, Total Parameters=340M).",
        "BERT uses a multi-layer bidirectional Transformer encoder architecture, allowing for minimal task-specific architecture modifications in fine-tuning."
]

def format_docs(relevant_docs):
    """
    將檢索到的文檔列表格式化為單個(gè)字符串
    
    Args:
        relevant_docs: 檢索器返回的文檔對(duì)象列表
        
    Returns:
        str: 用換行符連接的文檔內(nèi)容字符串
    """
    return"\n".join(doc.page_content for doc in relevant_docs)

defcreate_ragas_dataset(rag_chain, retriever):
    """
    創(chuàng)建Ragas評(píng)估所需的數(shù)據(jù)集
    
    這個(gè)函數(shù)執(zhí)行完整的RAG流程并收集評(píng)估所需的所有數(shù)據(jù)：
    1. 對(duì)每個(gè)問(wèn)題使用檢索器獲取相關(guān)文檔
    2. 使用RAG鏈生成答案
    3. 收集所有必要的數(shù)據(jù)用于評(píng)估
    
    Args:
        rag_chain: RAG處理鏈，用于生成答案
        retriever: 文檔檢索器，用于獲取相關(guān)上下文
        
    Returns:
        Dataset: 包含評(píng)估所需所有字段的HuggingFace數(shù)據(jù)集
    """
    answers = []    # 存儲(chǔ)RAG系統(tǒng)生成的答案
    contexts = []   # 存儲(chǔ)檢索到的上下文文檔
    
    # 對(duì)每個(gè)評(píng)估問(wèn)題執(zhí)行RAG流程
    for query in questions:
        # 1. 使用檢索器獲取相關(guān)文檔
        relevant_docs = retriever.invoke(query)
        
        # 2. 格式化上下文并生成答案
        formatted_context = format_docs(relevant_docs)
        answer = rag_chain.invoke({
            "context": formatted_context, 
            "question": query
        })
        
        # 3. 收集結(jié)果
        answers.append(answer)
        contexts.append([doc.page_content for doc in relevant_docs])
    
    # 構(gòu)建Ragas評(píng)估數(shù)據(jù)集的標(biāo)準(zhǔn)格式
    data = {
        "user_input": questions,           # 用戶(hù)輸入的問(wèn)題
        "response": answers,               # RAG系統(tǒng)生成的答案
        "retrieved_contexts": contexts,    # 檢索到的上下文文檔
        "reference": ground_truths         # 標(biāo)準(zhǔn)參考答案
    }
    
    # 創(chuàng)建HuggingFace數(shù)據(jù)集對(duì)象
    dataset = Dataset.from_dict(data)
    return dataset

# 導(dǎo)入Ragas評(píng)估框架的核心指標(biāo)
from ragas.metrics import (
    answer_relevancy,    # 答案相關(guān)性：評(píng)估生成答案與問(wèn)題的相關(guān)程度
    faithfulness,        # 忠實(shí)度：評(píng)估答案是否基于檢索到的上下文
    context_recall,      # 上下文召回率：評(píng)估檢索到的上下文是否包含回答問(wèn)題所需的信息
    context_precision    # 上下文精確率：評(píng)估檢索到的上下文中相關(guān)信息的比例
)

# 導(dǎo)入Ragas評(píng)估函數(shù)和數(shù)據(jù)集處理庫(kù)
from ragas import evaluate        # 主要評(píng)估函數(shù)
from datasets import Dataset      # HuggingFace數(shù)據(jù)集庫(kù)，用于構(gòu)建評(píng)估數(shù)據(jù)集

def evaluate_ragas_dataset(ragas_dataset):
    """
    使用Ragas框架評(píng)估RAG系統(tǒng)性能
    
    該函數(shù)對(duì)構(gòu)建好的數(shù)據(jù)集進(jìn)行多維度評(píng)估，包括檢索質(zhì)量和生成質(zhì)量。
    
    Args:
        ragas_dataset: 包含問(wèn)題、答案、上下文和參考答案的數(shù)據(jù)集
        
    Returns:
        EvaluationResult: 包含各項(xiàng)評(píng)估指標(biāo)得分的結(jié)果對(duì)象
    """
    # 執(zhí)行Ragas評(píng)估，使用四個(gè)核心指標(biāo)
    result = evaluate(
        ragas_dataset,
        metrics=[
            context_recall,      # 上下文召回率：檢索是否包含了回答問(wèn)題所需的信息
            context_precision,   # 上下文精確率：檢索內(nèi)容的相關(guān)性比例
            faithfulness,        # 忠實(shí)度：答案是否忠實(shí)于檢索到的上下文
            answer_relevancy     # 答案相關(guān)性：答案與問(wèn)題的相關(guān)程度
        ],
    )
    return result
# 步驟1: 創(chuàng)建用于父文檔檢索器評(píng)估的RAG處理鏈
# 這個(gè)鏈將與父文檔檢索器配合工作，處理檢索到的豐富上下文
parent_document_qa_chain = rag_chain()
# 步驟2: 構(gòu)建父文檔檢索器的評(píng)估數(shù)據(jù)集
# 這個(gè)過(guò)程將：
# 1. 對(duì)每個(gè)評(píng)估問(wèn)題使用父文檔檢索器檢索相關(guān)父文檔
# 2. 使用RAG鏈基于檢索到的父文檔生成答案
# 3. 收集所有必要的數(shù)據(jù)用于Ragas評(píng)估
parent_document_dataset = create_ragas_dataset(parent_document_qa_chain, parent_document_retriever)
# 步驟3: 執(zhí)行Ragas評(píng)估
# 使用四個(gè)核心指標(biāo)對(duì)父文檔檢索器的性能進(jìn)行全面評(píng)估
# 這可能需要幾分鐘時(shí)間，因?yàn)樾枰{(diào)用LLM進(jìn)行評(píng)估計(jì)算
print("開(kāi)始執(zhí)行Ragas評(píng)估，請(qǐng)稍候...")
parent_document_result = evaluate_ragas_dataset(parent_document_dataset)
print("評(píng)估完成！")