提升5.69倍，高效RAG上下文壓縮方法COCOM
GPT-4、Llama等開閉大模型通過預訓練的方式將海量數據積累成一個龐大的知識庫，再通過文本問答的形式為用戶生成各種內容。但這種方法僅局限于訓練數據集，為了擴大輸出范圍允許模型通過檢索額外的數據來豐富生成內容，RAG（知識檢索增強）成為了必備功能之一。
RAG也有一個明顯的缺點，就是隨著上下文信息量的增加，模型的解碼時間顯著延長，嚴重影響用戶獲取答案的效率。
所以，阿姆斯特丹大學、昆士蘭大學和NAVER實驗室的研究人員聯合發布了創新壓縮方法COCOM（Context COmpression Model）。
論文地址：https://arxiv.org/abs/2407.09252
在傳統的RAG模型中，為了生成一個準確的答案，系統需要考慮大量的上下文信息。這些信息可能來自多個文檔，每個文檔都包含了對生成答案可能有用的信息。
不過將這些長文本直接輸入到大模型中會導致解碼時間顯著增加，因為模型需要處理更多的輸入數據，消耗的算力和推理時間也就更多。
COCOM使用了一種創新的上下文壓縮技術，將長文本上下文轉換成一組緊湊的上下文嵌入。這些嵌入能夠捕捉原始文本的關鍵信息，并以一種更高效的方式提供給大模型，能夠在減少模型輸入大小的同時，保持提升生成內容的質量。
COCOM還使用了一個轉換器，幫助大模型對輸入的上下文進行分詞處理，將其轉換成一系列的標記。然后，這些標記被輸入到一個壓縮模型中，并負責將這些標記轉換成一組上下文嵌入。
在壓縮模型的訓練過程中，研究者們采用了兩種主要的預訓練任務：自編碼和基于上下文嵌入的語言建模。自編碼任務的目標是訓練模型將上下文嵌入重構回原始的輸入文本，這有助于模型學習如何有效地壓縮和解壓上下文信息。
而基于上下文嵌入的語言建模任務則是訓練模型根據壓縮后的嵌入生成文本的下一部分，這有助于模型學習如何利用上下文嵌入中的信息。
值得一提的是，COCOM的壓縮率非常靈活可以調節，通過調整壓縮率參數幫助開發人員在減少解碼時間和保持答案質量之間找到一個平衡點。
例如，一個較低的壓縮率可能會生成更多的嵌入，從而保留更多的上下文信息，但同時也會略微增加解碼時間。相反，一個較高的壓縮率會減少生成的嵌入數量，從而加快解碼效率，但可能會犧牲一些生成答案的質量。
此外，COCOM還能夠處理多個上下文的情況。在知識密集型任務中，通常需要從多個文檔中提取信息以生成答案。COCOM能夠獨立地壓縮每個文檔的上下文，并將生成的嵌入向量作為一組提供給大模型，這種方法能幫助模型在處理多個上下文時仍保持高效率。
研究人員在Natural Questions、MS MARCO、HotpotQA測試平臺中評估了COCOM，并與現有AutoCompressor、xRAG、ICAE等壓縮方法進行比較，COCOM的效率能提升5.69倍，內存減少1.27倍。
本文轉自 AIGC開放社區 ，作者：AIGC開放社區
