GraphRAG太慢LightRAG延遲高？華東師大新方法一招破解雙重難題
GraphRAG的索引速度慢，LightRAG的查詢延遲高？
這些影響效率的難題，現(xiàn)在終于迎來改進(jìn)——
由華東師范大學(xué)李翔老師帶領(lǐng)的的Planing Lab團(tuán)隊(duì)推出高效解決方法E2GraphRAG。
該方法在大部分測(cè)試中接近了最優(yōu)的GraphRAG方法。
并且值得關(guān)注的是，該方法在構(gòu)建索引時(shí)間上是GraphRAG的1/10，在查詢時(shí)間上是LightRAG的1/100。
動(dòng)機(jī)與背景
現(xiàn)有的RAG方法中，大部分都是依賴于文本知識(shí)庫，通過向量檢索的方式，從中檢索到與問題相關(guān)的一些文檔片段作為補(bǔ)充知識(shí)。
這種方法難以實(shí)現(xiàn)對(duì)整個(gè)文檔知識(shí)庫的全局理解，比如通過普通RAG的方法，模型仍然無法回答“這篇小說的主旨是什么”這類問題。
為了解決對(duì)知識(shí)庫的全局理解問題，RAPTOR提出了先對(duì)文檔塊進(jìn)行聚類，然后遞歸構(gòu)建文檔總結(jié)樹，然后在這個(gè)文檔總結(jié)樹上進(jìn)行向量查詢的方法，來引入不同粒度的信息；
GraphRAG則利用了大模型強(qiáng)大的信息抽取能力，由大模型從逐個(gè)文檔塊中抽取出三元組，然后構(gòu)成一張圖，之后再通過圖分割算法分割成多個(gè)社區(qū)，再由大模型對(duì)社區(qū)進(jìn)行總結(jié)，從而得到了不同粒度的信息。
然而，GraphRAG在圖構(gòu)建以及查詢的過程中需要調(diào)用太多次大模型，導(dǎo)致其開銷過重，難以實(shí)用。
為了解決這一問題，LightRAG讓大模型一次性抽取出所有粒度的三元組，從而減少了總結(jié)不同社區(qū)帶來的大模型調(diào)用開銷；
FastGraphRAG則是在查詢的過程中利用了PageRank算法來聚合全局信息，從而避免了查詢時(shí)的大模型開銷。
但是這些方法仍然面臨一些問題：
每一個(gè)文檔塊需要調(diào)用一次大模型，帶來的開銷仍然相對(duì)較高；
嚴(yán)重依賴于大模型自身的能力，當(dāng)模型參數(shù)量較小或者不支持Json格式輸出的時(shí)候，這些方法難以實(shí)現(xiàn)；
需要手動(dòng)設(shè)置查詢模式，限制了其面對(duì)不同類型問題時(shí)的靈活性。
因此，本文中提出通過使用SpaCy來進(jìn)行文檔中的實(shí)體識(shí)別，利用實(shí)體之間的句中共現(xiàn)關(guān)系構(gòu)成一張圖，然后利用大模型對(duì)文檔塊按順序遞歸總結(jié)，將其構(gòu)建成不同粒度的文檔總結(jié)樹，之后結(jié)合利用圖和樹來進(jìn)行查詢，實(shí)現(xiàn)高效率、高性能。
方法
構(gòu)建階段
首先和普通RAG一樣，先將長文檔進(jìn)行分塊，本文中選取1200tokens一塊，相鄰塊間有100tokens的重疊，follow了LightRAG的實(shí)驗(yàn)設(shè)置。然后構(gòu)建階段主要有兩個(gè)任務(wù)：
利用LLM遞歸總結(jié)文檔樹：將文檔塊按照順序排列，每g個(gè)文檔塊一組，交給大模型來進(jìn)行內(nèi)容總結(jié)，由于文檔塊是連續(xù)的，這里的相鄰文檔塊之間的重疊可以合并，節(jié)約token消耗；
然后對(duì)于大模型生成的總結(jié)，繼續(xù)每g個(gè)一組，進(jìn)一步總結(jié)，構(gòu)成一個(gè)文檔樹。
通過這種方式，團(tuán)隊(duì)得到了不同層次、不同粒度的信息，越接近根節(jié)點(diǎn)，信息越全局；
越接近葉子節(jié)點(diǎn)，信息越具體。
利用SpaCy抽取實(shí)體圖：對(duì)于每一個(gè)文檔塊，團(tuán)隊(duì)利用SpaCy抽取其中的實(shí)體以及名詞（他們可能是潛在的實(shí)體的代稱），然后在同一句子內(nèi)出現(xiàn)的實(shí)體以及名詞之間構(gòu)建連邊，體現(xiàn)二者之間存在一定關(guān)系。
然后將所有的文檔塊對(duì)應(yīng)的子圖合并到一起，構(gòu)成一個(gè)針對(duì)整個(gè)文檔中的實(shí)體關(guān)系的實(shí)體圖。
同時(shí)，團(tuán)隊(duì)構(gòu)建兩個(gè)index，來描繪文檔和實(shí)體之間的關(guān)系，即文檔塊中抽取出哪些實(shí)體，一個(gè)實(shí)體能從哪些文檔塊中抽取出來。
通過這兩個(gè)任務(wù)，團(tuán)隊(duì)得到了上圖中的四種數(shù)據(jù)結(jié)構(gòu)以及兩個(gè)索引，即總結(jié)節(jié)點(diǎn)、文檔節(jié)點(diǎn)、實(shí)體、邊；以及實(shí)體到文檔塊的一對(duì)多索引，文檔塊到實(shí)體的一對(duì)多索引。
檢索階段
團(tuán)隊(duì)的檢索方式可以根據(jù)問題的內(nèi)容來自動(dòng)選擇local or global的檢索方式，為了區(qū)分這兩種檢索方式，在下文中用斜體來表示global檢索，以示區(qū)分。
同時(shí)團(tuán)隊(duì)提供了偽代碼，其中標(biāo)
的是全局檢索的部分。
假設(shè)要檢索最多k個(gè)文檔塊，具體步驟如下：
- 利用SpaCy從問題中抽取出來實(shí)體，然后將這些實(shí)體兩兩組合（無序），假設(shè)有n個(gè)實(shí)體，團(tuán)隊(duì)會(huì)得到*個(gè)候選實(shí)體對(duì)（即圖中Entity Extraction步驟）。
- 如果步驟1中不存在實(shí)體，那么認(rèn)為這是一個(gè)全局的問題，同時(shí)無法利用實(shí)體信息來輔助檢索，直接通過向量檢索的方式，從文檔樹上檢索到相關(guān)的文檔塊。
- 候選實(shí)體對(duì)中肯定存在噪聲，因此拿它到團(tuán)隊(duì)構(gòu)建好的圖中去過濾，即兩個(gè)實(shí)體如果在圖中的距離超過h跳，那么就認(rèn)為他們是無關(guān)的，將其排除（即圖中Graph Filtering步驟）。
- 根據(jù)上一步剩余的實(shí)體對(duì)數(shù)量，團(tuán)隊(duì)如果有剩余的實(shí)體，進(jìn)行5的local檢索，如果沒有，則執(zhí)行步驟6的全局檢索：
- 如果有剩余的實(shí)體對(duì)，團(tuán)隊(duì)利用實(shí)體到文檔塊的索引將每個(gè)實(shí)體對(duì)中的兩個(gè)實(shí)體映射到各自對(duì)應(yīng)的文檔塊上，然后對(duì)這兩個(gè)文檔塊集合取交集，即得到了和這兩個(gè)實(shí)體均相關(guān)的文檔塊（即圖中的Index Mapping步驟）。
- 如果沒有剩余的實(shí)體對(duì)，那么也就意味實(shí)體并非緊密相關(guān)，那么這也更可能是一個(gè)全局查詢，因此團(tuán)隊(duì)首先通過向量檢索檢索到樹上的top- 2k個(gè)相關(guān)的文檔塊作為候選；然后由于問題中也有實(shí)體，因此實(shí)體可以輔助進(jìn)行查詢，即計(jì)算每一個(gè)候選文檔塊中實(shí)體的出現(xiàn)次數(shù)作為權(quán)重，如果這個(gè)候選文檔塊是總結(jié)塊，那么其對(duì)應(yīng)的權(quán)重即為其子節(jié)點(diǎn)的權(quán)重之和，向下一直遞歸。這樣的設(shè)計(jì)自然會(huì)給總結(jié)塊更高的權(quán)重，自然符合了這是一個(gè)全局查詢的假設(shè)（即圖中的Occurrence Ranking步驟）。
- 如果步驟5返回了超過k個(gè)文檔， 那說明團(tuán)隊(duì)的約束太松，因此團(tuán)隊(duì)令h =h-1，然后重新執(zhí)行步驟5，循環(huán)至只剩下不超過k個(gè)文檔。
- 如果步驟7返回了0個(gè)文檔，那么取縮緊約束之前的一個(gè)查詢結(jié)果，從其中進(jìn)行篩選，具體篩選指標(biāo)為：
- 看這個(gè)文檔包含了多少個(gè)不同的問題相關(guān)的實(shí)體；
- 看這個(gè)文檔中問題相關(guān)的實(shí)體出現(xiàn)了多少次。
團(tuán)隊(duì)首先比較指標(biāo)1，當(dāng)指標(biāo)1打平時(shí)，比較指標(biāo)2，取最高的k個(gè)文檔作為結(jié)果。
最后團(tuán)隊(duì)將其整理為實(shí)體1，實(shí)體2：文檔內(nèi)容的形式，輸入給模型。
實(shí)驗(yàn)結(jié)果
團(tuán)隊(duì)在7-8B的相對(duì)易部署的模型上進(jìn)行實(shí)驗(yàn)，確保了該方法在資源受限的情況下仍然能夠有良好表現(xiàn)。
團(tuán)隊(duì)發(fā)現(xiàn)，該方法達(dá)到了最短的索引構(gòu)建時(shí)間，同時(shí)沒有帶來查詢的延遲。
在性能上，在大部分實(shí)驗(yàn)設(shè)置下超過或者接近了最優(yōu)的GraphRAG方法，實(shí)現(xiàn)了效率與性能的均衡。
值得關(guān)注的是，該方法在構(gòu)建索引時(shí)間上是GraphRAG的1/10，在查詢時(shí)間上是LightRAG的1/100。
同時(shí)，團(tuán)隊(duì)繪制了文檔token數(shù)量和構(gòu)建索引時(shí)間的散點(diǎn)圖，并且擬合成直線。
團(tuán)隊(duì)發(fā)現(xiàn)該方法構(gòu)建索引時(shí)間隨著文檔token數(shù)量以最低的斜率線性增長，體現(xiàn)該方法可以擴(kuò)展到更大的文檔上。
團(tuán)隊(duì)進(jìn)一步進(jìn)行了消融實(shí)驗(yàn)，三欄分別是：
- 針對(duì)團(tuán)隊(duì)整體方法必要性的消融：只用向量檢索，確保團(tuán)隊(duì)的local-global檢索系統(tǒng)是有效的；
- 針對(duì)local檢索的消融：分別以及同時(shí)消去Graph Filter以及Entity-aware Ranking，確保團(tuán)隊(duì)的local檢索的部件是有效的；
- 針對(duì)global檢索的消融：分別以及同時(shí)消去Dense Retrieval以及Occurrence Ranking，發(fā)現(xiàn)在NovelQA上出現(xiàn)了一個(gè)異常的升高，可能是由于模型的幻覺導(dǎo)致的。
通過結(jié)合樹與圖，該團(tuán)隊(duì)達(dá)成了GraphRAG效率與效果的平衡，在該方法中，圖主要用于信息點(diǎn)的關(guān)系發(fā)現(xiàn)以及過濾噪聲，而樹則主要用于提供具體不同粒度的信息內(nèi)容，二者各有所長，相互依賴。
