引言：文本檢索在信息檢索系統中的重要性

文本檢索是信息檢索系統的核心組成部分，它在搜索引擎、問答系統和推薦系統等多種應用中發(fā)揮著至關重要的作用。隨著技術的發(fā)展，文本檢索已經從簡單的關鍵詞匹配演變?yōu)槔脧碗s的算法理解和匹配文本的語義。特別是在問答系統中，文本檢索技術能夠從大量數據中找到與用戶查詢最相關的信息，這對于提高系統的準確性和用戶滿意度至關重要。

近年來，隨著深度學習技術的發(fā)展，基于神經網絡的排名模型在文本檢索中的應用越來越廣泛。這些模型通過學習文本之間深層的語義關系，能夠更準確地評估和排序搜索結果，從而顯著提高檢索的準確性。此外，多階段文本檢索系統的出現，通過先進行粗篩選再精細排序的方式，進一步提高了檢索效率和準確性。

本文將詳細介紹文本檢索技術的最新進展，特別是在問答系統中的應用，并通過實驗比較不同排名模型的性能，為文本檢索技術的發(fā)展和應用提供參考。

論文標題: Enhancing Q&A Text Retrieval with Ranking Models: Benchmarking, fine-tuning and deploying Rerankers for RAG

機構: NVIDIA

論文鏈接:??https://arxiv.org/pdf/2409.07691.pdf??

文本檢索與排名模型的基本概念

1. 文本檢索的核心作用

文本檢索是許多信息檢索應用的核心組成部分，如搜索、問答（Q&A）和推薦系統。近年來，文本檢索通過檢索增強生成（RAG）系統被賦予了新的使命，即為大型語言模型（LLM）提供外部和最新的上下文信息。

2. 文本嵌入模型

文本嵌入模型將變長文本表示為固定維度的向量，這對于有效的文本檢索至關重要，因為它們能夠語義匹配文本內容。這些模型基于Transformer架構，如Sentence-BERT、DPR等，通常通過對比學習作為雙編碼器或后組合模型進行訓練，優(yōu)化模型以最大化查詢和相關（正向）段落之間的相似性，同時最小化查詢和非相關（負向）段落之間的相似性。

3. 排名模型

排名模型在文本檢索系統中發(fā)揮著至關重要的作用，它們通常作為交叉編碼器，輸入查詢和段落對，使用自注意力機制深入模擬查詢和段落對的語義關系。排名模型僅為檢索模型檢索到的頂部候選段落提供相關性預測，可以通過使用較小的嵌入模型來提高檢索準確性，從而顯著減少索引時間和成本。

NV-RerankQA-Mistral-4B-v3模型的介紹與優(yōu)勢

1. 模型概述

NV-RerankQA-Mistral-4B-v3是一種先進的排名模型，它在文本檢索準確性上實現了顯著提升。該模型是從Mistral 7B模型修剪而來，只保留了底部的16層，以減少推理計算和內存需求。此外，它的自注意力機制從單向（因果）修改為雙向，以改進Mistral基于嵌入模型的準確性。

2. 訓練與優(yōu)化

NV-RerankQA-Mistral-4B-v3采用對比學習和InfoNCE損失函數進行訓練，這種列表式對比學習損失函數旨在最大化問題和正向段落對的相關性得分，同時最小化問題和負向段落對的得分。在數據預處理階段，通過使用教師嵌入模型從語料庫中挖掘負樣本，以確保高質量的訓練數據。

實驗設置與數據集

1. 數據集選擇與處理

在本研究中，我們使用了BEIR數據集的三個問答子集：Natural Questions (NQ)、HotpotQA 和 FiQA。這些數據集已經被預處理，分割成不超過512個詞元的小段落。這種處理方式是為了適應模型輸入的限制，并確保數據的一致性和可管理性。

2. 實驗流程

實驗的設置模仿了典型的文本檢索索引和查詢流程。首先進行索引流程，將文本語料庫分割成更小的段落，并使用嵌入模型將這些段落轉換成向量后存儲在向量數據庫中。查詢流程隨后進行，對于每個查詢，系統都會返回一個按相關性排序的段落列表，用于計算檢索指標（如NDCG@10）。

在具體實現中，查詢問題被嵌入后，通過向量搜索（例如使用精確或近似最近鄰算法）在向量索引中找到最相關的top-k段落。然后，這些top-k段落通過排名模型進行重新排序，以生成最終的有序列表。

實驗結果與分析

1. 基準結果

我們在不同的嵌入模型和排名模型組合下，對文本檢索流程進行了基準測試。測試結果顯示在不同的問答數據集上的NDCG@10評分如下：

• 對于較小的嵌入模型（如snowflake-arctic-embed-l和NV-EmbedQA-e5-v5），大多數交叉編碼器（除了小型的ms-marco-MiniLM-L-12-v2）都顯著提高了排名準確性。
• 對于較大的嵌入模型（如NV-EmbedQA-Mistral7B-v2），只有大型的NV-RerankQA-Mistral-4B-v3排名模型能夠提高其準確性。

特別是，NV-RerankQA-Mistral-4B-v3排名模型在所有數據集上都提供了最高的排名準確性，較第二好的排名模型（bge-reranker-v2-m3）高出14%。

模型訓練的權衡考慮

在部署文本檢索系統時，尤其是涉及到排名模型的多階段文本檢索系統，我們必須在模型大小、排名準確性和系統需求（如索引和服務的延遲/吞吐量）之間進行權衡。這些權衡考慮對于實現高效且成本效益高的系統至關重要。

1. 模型大小與系統性能的權衡

模型的大小直接影響到系統的性能。大型模型雖然能夠提高檢索的準確性，但同時也會增加索引的時間和成本。例如，使用大型嵌入模型（如NV-EmbedQA-Mistral7B-v2）進行文本索引，會顯著增加處理時間，這對于需要頻繁更新索引的應用場景是不可接受的。因此，可能需要通過使用較小的嵌入模型和排名模型的組合來優(yōu)化性能和成本。

2. 排名準確性與索引吞吐量的權衡

排名模型可以顯著提高檢索的準確性，特別是在頂級候選文檔的再排名中。然而，這種準確性的提高可能以犧牲索引吞吐量和服務延遲為代價。例如，NV-RerankQA-Mistral-4B-v3雖然在排名準確性上表現優(yōu)異，但其復雜性和計算需求較高，可能不適合需要快速響應的應用。

本文轉載自??51CTO技術棧??，作者：柏企