文本分塊哪家強？LumberChunker、語義分塊、段落級、循環(huán)分塊、HyDE、命題級
檢索增強生成（RAG）系統(tǒng)通過將模型生成與上下文相關(guān)文檔相結(jié)合來提高信息的準(zhǔn)確性，文本內(nèi)容如何分割成“塊（chunk）”對檢索質(zhì)量有顯著影響。
用于問答實驗的RAG Pipeline，一些tricks，混合檢索：BM25-Top3、密集檢索-Top15，BM25的Top1排在前面，Top2-3排在最后；大模型重排序：如果上下文包含六個或更多塊，從中間點開始反轉(zhuǎn)塊的順序。
LumberChunker方法利用LLM動態(tài)地將文檔分割成語義獨立的塊。這種方法基于一個前提：當(dāng)內(nèi)容塊的大小可以變化時，檢索效率會提高，因為這樣可以更好地捕捉內(nèi)容的語義獨立性。LumberChunker通過迭代地提示LLM，在一系列連續(xù)段落中識別內(nèi)容開始轉(zhuǎn)變的點，從而確保每個塊在上下文中是連貫的，但與相鄰塊有所區(qū)別。
LumberChunker遵循一個三步流程。首先，按段落對文檔進(jìn)行分割。其次，通過追加連續(xù)的塊，創(chuàng)建一個組（Gi），直到超過預(yù)定義的標(biāo)記計數(shù)θ。最后，將Gi作為上下文輸入到Gemini，Gemini確定顯著內(nèi)容轉(zhuǎn)變開始出現(xiàn)的ID，從而定義了Gi+1的開始和當(dāng)前塊的結(jié)束。這個過程在整個文檔中循環(huán)重復(fù)。
實驗結(jié)果表明，LumberChunker在檢索性能上優(yōu)于其他競爭性基線，特別是在DCG@20指標(biāo)上，比最接近的競爭者（循環(huán)分塊：Recursive Chunking）高出7.37%；其它的競爭者分別是：語義分塊：Semantic Chunking、段落級：Paragraph-Level、HyDE、命題級：Proposition-Level。
在GutenQA（3000個QA）上使用不同粒度的問題和檢索語料庫段落的段落檢索性能（DCG@k和Recall@k）。每列中的最佳得分以粗體突出顯示。
當(dāng)LumberChunker集成到RAG流程中時，它被證明比其他分割方法和競爭性基線更有效。
LumberChunker不足：
- 盡管它在性能上優(yōu)于所有基線，但它需要使用LLM，這使得它在成本和速度上比傳統(tǒng)方法更高、更慢。
- LumberChunker專門設(shè)計用于敘事文本，對于高度結(jié)構(gòu)化的文本，可能不是最優(yōu)解決方案。
附錄：
LumberChunker Gemini Prompt示例，用于書籍《小熊維尼》由A. A.米爾恩著
與表2中的例子不同，表3段落中的代詞“He”不能被準(zhǔn)確共指，導(dǎo)致命題(propositions)有些模糊。因此，如果用戶問到“埃隆·馬斯克家族中誰曾經(jīng)做過牛仔表演者？”這樣的問題，一個僅使用命題作為檢索單元的模型將無法提供準(zhǔn)確的回答。
在整個RAG流程中，除了Chunking，還涉及Embedding、Indexing等等，PaperAgent團隊RAG專欄進(jìn)行過詳細(xì)的歸納總結(jié)：高級RAG之36技（術(shù)），可私信留言試看：RAG專欄。
https://github.com/joaodsmarques/LumberChunker
https://arxiv.org/pdf/2406.17526
LumberChunker: Long-Form Narrative Document Segmentation本文轉(zhuǎn)載自??PaperAgent??
