在當今數(shù)據(jù)驅(qū)動的商業(yè)環(huán)境中，存在著一個矛盾現(xiàn)象：企業(yè)一方面要應(yīng)對信息過載的問題，另一方面又試圖從海量信息中提取有意義的見解以推動行動，這構(gòu)成了雙重挑戰(zhàn)。存儲在技術(shù)報告、產(chǎn)品文檔、合同和演示文稿幻燈片中的大量商業(yè)知識，都以非結(jié)構(gòu)化格式存在，傳統(tǒng)的數(shù)據(jù)分析系統(tǒng)難以對其進行解讀。包含文本、圖表、圖形和圖像的文檔蘊含著有關(guān)業(yè)務(wù)流程和決策系統(tǒng)的重要商業(yè)情報，但這些情報大多未被充分利用。

想要利用機構(gòu)知識的企業(yè)，在從多種格式的文檔中自動提取有價值的見解時，面臨著一個長期存在的障礙。光學(xué)字符識別（OCR）傳統(tǒng)上是一種可靠的文本提取方法，它運用計算機視覺技術(shù)將字符從背景中區(qū)分出來，重新組合成單詞和句子。OCR在處理基于文本的文檔時表現(xiàn)出色，但在處理圖表、圖形和信息圖時卻無能為力，而這些對于傳達復(fù)雜概念至關(guān)重要。

一些先進的OCR解決方案試圖通過章節(jié)分塊和布局分析來保留文檔結(jié)構(gòu)，但當視覺數(shù)據(jù)對理解內(nèi)容至關(guān)重要時，這些方法就會失效。這種局限性在建筑、工程和科學(xué)研究等領(lǐng)域尤為嚴重，因為視覺描述往往能傳達書面文本無法表達的重要信息。正如Adejumo等人（2024年）的研究所表明的，傳統(tǒng)的基于規(guī)則的系統(tǒng)和基本的機器學(xué)習(xí)算法無法準確解讀醫(yī)學(xué)文檔中文本與圖像之間的復(fù)雜關(guān)系。

多模態(tài)檢索系統(tǒng)是一項創(chuàng)新技術(shù)，能夠同時處理和理解文本與視覺數(shù)據(jù)。這些先進系統(tǒng)不僅僅是被動地接受視覺元素，而是通過將圖像與其文本環(huán)境相結(jié)合（反之亦然）來進行主動解讀。其成果具有革命性，因為多模態(tài)方法在處理文本較多的文檔時，性能達到或超過了傳統(tǒng)OCR，在處理視覺復(fù)雜的文檔時更是取得了優(yōu)異的效果。

檢索增強生成（RAG）應(yīng)用展示了這些多模態(tài)系統(tǒng)的全部能力。這些系統(tǒng)生成先進的嵌入向量，將文本和視覺數(shù)據(jù)封裝起來，使其能夠?qū)⒎墙Y(jié)構(gòu)化文檔存儲到向量數(shù)據(jù)庫中，并保留其語義屬性。在接收到用戶查詢后，系統(tǒng)會定位并提供最相關(guān)的數(shù)據(jù)，這些數(shù)據(jù)可能包括文本元素、視覺元素或兩者皆有，然后將其提供給大語言模型或視覺語言模型（LLMs或VLMs）。結(jié)果如何呢？生成的回復(fù)不再是泛泛的答案，而是基于全面的數(shù)據(jù)分析，提供高度具體和準確的信息。

能夠訪問非結(jié)構(gòu)化數(shù)據(jù)資產(chǎn)標志著企業(yè)數(shù)據(jù)使用方式的重大變革。多模態(tài)RAG系統(tǒng)通過防止有價值的見解被鎖定在難以訪問的文檔格式中，實現(xiàn)了機構(gòu)知識的共享，有助于做出更好的決策，并為創(chuàng)新和提高效率創(chuàng)造了機會。

接下來的部分將探討兩種創(chuàng)新的多模態(tài)文檔檢索方法——ColPali和ColFlor，它們正在改變這個快速發(fā)展領(lǐng)域的能力。我們的分析將涵蓋這兩個系統(tǒng)的結(jié)構(gòu)和性能基準，同時評估企業(yè)如何最大化其文檔庫的價值。尋求實施解決方案的數(shù)據(jù)科學(xué)家和希望了解這些技術(shù)戰(zhàn)略影響的商業(yè)領(lǐng)袖，通過這次探索，將對智能文檔處理的未來獲得有價值的見解。

ColPali：通過以視覺為先的文檔檢索重新構(gòu)想多模態(tài)RAG

Faysse等人（2025年）提出的ColPali框架為多模態(tài)檢索增強生成（RAG）建立了一種變革性的方法。ColPali摒棄了以文本提取為中心的標準流程，采用以視覺為先的方法，簡化并改進了文檔檢索操作。這一創(chuàng)新解決了文檔處理中一個長期存在的挑戰(zhàn)，即處理包含多種信息模式的復(fù)雜現(xiàn)實世界文檔，同時保留其上下文含義。

ColPali以PaliGemma-3B為基礎(chǔ)模型，并對其進行擴展，創(chuàng)建類似ColBERT的多向量表示，這種表示適用于文本和視覺數(shù)據(jù)。該模型通過有效利用在多模態(tài)微調(diào)過程中形成的文本和圖像令牌嵌入之間的固有對齊，展現(xiàn)出卓越性能。ColPali從文檔的視覺表示開始處理文檔，無需RAG系統(tǒng)通常需要的傳統(tǒng)預(yù)處理步驟。

傳統(tǒng)的文檔RAG流程需要幾個復(fù)雜的步驟，包括PDF解析、通過OCR進行文本提取、文檔布局檢測、文本分塊和視覺元素標注。這個處理流程在每個階段都存在失敗和信息丟失的可能性。ColPali通過將完整的頁面轉(zhuǎn)換為編碼視覺形式，避免了這些問題，這種形式保留了空間關(guān)系和視覺上下文，而標準的純文本表示通常無法做到這一點。

該系統(tǒng)架構(gòu)采用先進的后期交互方法來執(zhí)行查詢匹配。ColPali在共享嵌入空間中為提交的查詢和索引文檔生成多向量表示。它使用可微的后期交互算子計算相似度，而較簡單的雙編碼器模型為文檔生成單個密集向量表示。該算子通過確定查詢向量和文檔嵌入向量之間最高的點積之和，來找到文檔中最匹配的部分，而不要求完全匹配。

ColPali實施了一種技術(shù)設(shè)計，將SigLIP補丁嵌入轉(zhuǎn)換為與Gemma-2B指定的文本嵌入空間對齊。語言模型生成的每個輸出令牌嵌入（由文本或圖像令牌生成）都通過一個投影層進行映射，將其轉(zhuǎn)換到一個128維的低維向量空間。這種統(tǒng)一的表示方式使模型能夠高效地處理文檔中視覺和文本部分的上下文細節(jié)。

ColPali的性能優(yōu)勢非常顯著。基準評估表明，與來自非結(jié)構(gòu)化和標注方法的強大基線以及每個測試的文本 - 圖像嵌入模型相比，它都取得了卓越的性能。在處理像信息圖問答（InfographicVQA）、Arxiv問答和表格問答（TabFQuAD）等視覺復(fù)雜的任務(wù)時，ColPali相對于傳統(tǒng)RAG系統(tǒng)的優(yōu)勢凸顯出來，因為傳統(tǒng)RAG系統(tǒng)在處理混合格式文檔時存在困難。

ColFlor：用于視覺文檔檢索的輕量級ColPali替代方案

ColFlor模型是高效多模態(tài)檢索領(lǐng)域的一項顯著改進，與更大的ColPali架構(gòu)相比，它提供了一種更高效的選擇。這個無需OCR的視覺文檔檢索模型使用1.74億個參數(shù)，比ColPali小17倍，但在計算需求低得多的情況下仍取得了令人矚目的性能。ColFlor基于Florence-2架構(gòu)構(gòu)建，巧妙地利用其DaViT視覺編碼器和基于BART的文本編碼器，同時舍棄了文本自回歸解碼器，從而大大提高了處理速度：圖像編碼過程比ColPali快5.25倍，查詢編碼速度快9.8倍。

ColFlor索引和查詢流程（Masry & Hoque，2024年）

該模型通過兩個不同的階段進行操作。在索引階段，DaViT視覺編碼器處理分辨率為768×768的文檔圖像（大于ColPali的448×448分辨率），以提取視覺特征，并將其轉(zhuǎn)換為嵌入向量。嵌入向量通過基于BART的文本編碼器，創(chuàng)建上下文表示，然后將其壓縮為128維向量以節(jié)省存儲空間。在查詢階段，文本編碼器處理用戶查詢，生成查詢嵌入，通過MaxSim操作將其與存儲的文檔嵌入進行評估，實現(xiàn)高效且具有上下文感知的匹配。

盡管ColFlor的規(guī)模較小，但在處理富含文本的英文文檔時，它與ColPali保持著相當?shù)男阅芩剑贜DCG@5指標上僅下降了1.8%。在圖形評估中，ColFlor的表現(xiàn)優(yōu)于其更大的模型ColPali，表明它具有更出色的視覺推理能力。然而，當處理非英文文檔時，ColFlor遇到了重大挑戰(zhàn)，與ColPali相比，它在處理法語文檔時表現(xiàn)較差。ColFlor生成的上下文嵌入數(shù)量較少（每頁587個向量），而ColPali為1024個，這減少了存儲需求和檢索時間。

實際應(yīng)用：圍繞文檔構(gòu)建多模態(tài)RAG系統(tǒng)

我們將通過研究ColPali和ColFlor在產(chǎn)品手冊中的應(yīng)用，展示它們在實際應(yīng)用中的工作方式。該手冊包含技術(shù)規(guī)格、圖表、表格和應(yīng)用示例，這在建筑和建筑文檔中很常見。

設(shè)置索引流程

實施過程從索引開始，通過使用ColPali和ColFlor編碼器架構(gòu)，將多頁的Xilonor CLT手冊轉(zhuǎn)換為向量表示。我們對兩個模型應(yīng)用相同的高級步驟。

使用ColPali和ColFlor模型將手冊文檔導(dǎo)入Qdrant多向量數(shù)據(jù)庫的流程

在預(yù)處理階段，我們的第一步是將每個PDF頁面轉(zhuǎn)換為高分辨率圖像。為了滿足ColPali的輸入規(guī)格，我們將圖像調(diào)整為448×448像素，但對于ColFlor，我們使用其支持的更高分辨率768×768。這種差異立即凸顯了ColFlor的一個優(yōu)勢：它能夠從文檔頁面中保留更詳細的視覺信息。每個模型接收頁面圖像，并通過其特定的視覺編碼器進行處理。PaliGemma-3B骨干網(wǎng)絡(luò)使ColPali能夠處理圖像，而ColFlor使用其DaViT視覺編碼器實現(xiàn)更高效的圖像處理。編碼過程生成豐富的、具有上下文的嵌入向量，捕獲每個頁面的文本和視覺信息。

為了提高存儲效率，兩個模型都將其嵌入向量投影為更緊湊的表示：ColPali處理的每個文檔頁面會生成1024個向量，而ColFlor生成587個向量，這使得ColFlor更高效。系統(tǒng)將這些嵌入向量保存到Qdrant向量數(shù)據(jù)庫中，并進行優(yōu)化索引，以實現(xiàn)有效的檢索。

實際檢索過程

一旦我們的CLT手冊被正確索引，我們就可以研究每個系統(tǒng)如何響應(yīng)不同復(fù)雜程度的用戶查詢。我們將研究三個不同的問題，這些問題展示了建筑專業(yè)人員可能提出的不同復(fù)雜程度的問題。

1. “CLT面板的最大尺寸是多少？”
2. “CLT和混凝土在生產(chǎn)過程中的能源消耗方面如何比較？”
3. “根據(jù)第15頁的標準服務(wù)等級圖表，在濕度較高的室內(nèi)空間應(yīng)使用哪種CLT服務(wù)等級？”

兩個系統(tǒng)在處理每個查詢時都使用相同的檢索順序：

• 查詢文本編碼：查詢文本通過文本編碼，并使用模型的文本編碼器轉(zhuǎn)換到向量空間。

async def get_embedding(self, query_text: str):
    with torch.no_grad():
        batch_query = self.colpali_processor(
            text=[query_text],
            images=[Image.new("RGB", (448, 448), (255, 255, 255))],
            return_tensors="pt",
            truncatinotallow=True
        ).to(self.colpali_model.device)
        query_embedding = self.colpali_model(**batch_query)
        return query_embedding[0].cpu().float().numpy().tolist()

• 搜索匹配嵌入向量：搜索文檔嵌入向量，找到相似度得分最高的匹配嵌入向量。

async def search(self, query_text: str, collection_name: str, top_k: int = 5):
    embedding = await self.get_embedding(query_text)
    query_hash = self._hash_embedding(embedding)
    cache_key = f"{collection_name}:{query_hash}"
    results = self.cache.get(cache_key)
    if results isNone:
        results = self.client.query_points(
            collection_name=collection_name,
            query=embedding,
            limit=top_k,
            timeout=120
        )
        self.cache[cache_key] = results
    return results

• 獲取相關(guān)文檔頁面：獲取最相關(guān)的文檔頁面，在本場景中檢索限制為5。

def retrieve_top_document(
    query: str,
    document_embeddings: List[torch.Tensor],
    document_images: List[Image.Image]
) -> Tuple[str, Image.Image]:
    query_embeddings = []
    placeholder_image = Image.new("RGB", (448, 448), (255, 255, 255))
    with torch.no_grad():
        query_batch = process_queries(paligemma_processor, [query], placeholder_image)
        query_batch = {key: value.to(device) for key, value in query_batch.items()}
        query_embeddings_tensor = retrieval_model(**query_batch)
        query_embeddings = list(torch.unbind(query_embeddings_tensor.to("cpu")))
    evaluator = CustomEvaluator(is_multi_vector=True)
    similarity_scores = evaluator.evaluate(query_embeddings, document_embeddings)
    best_index = int(similarity_scores.argmax(axis=1).item())
    return document_images[best_index], best_index

• 轉(zhuǎn)換文檔頁面格式：將檢索到的文檔頁面轉(zhuǎn)換回圖像格式。
• 生成回復(fù)：GPT-4o（或任何其他有能力的VLM）在接收到原始查詢文本和檢索到的文檔圖像后生成回復(fù)。

content = [
    {"type": "text", "text": f"Query: {query_text}\n\nRelevant pages from reference regulatory documents:"}
]
content.extend([
    {"type": "image_url",
     "image_url": {"url": f"data:image/png;base64,{img['image']}"}}
    for img in retrieved_images[:5]
])
response = await openai_client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "system", "content": system_prompt},
        {"role": "user", "content": content}
    ],
    max_tokens=4096,
    timeout=20
)

示例輸出

表1展示了ColPali和ColFlor RAG系統(tǒng)對三個提示問題的示例回復(fù)。

性能比較

對比測試顯示兩個系統(tǒng)之間存在顯著的性能差異：

1. 查詢處理時間

• ColFlor在查詢處理過程中的延遲幾乎降低了20倍，每個查詢只需3.54秒，而ColPali每個查詢需要69.41秒。
• 在批量處理多個查詢時，ColFlor保持了其卓越的性能，在壓力條件下性能僅略有下降。

2. 檢索準確率

• ColPali在檢索關(guān)于面板尺寸和能源消耗的精確數(shù)值答案時表現(xiàn)出色，始終能夠準確找到文檔參考。
• 在與標準服務(wù)等級圖表相關(guān)的分類分配查詢中，兩個模型都正確識別了服務(wù)等級，并且都將第15頁作為最相關(guān)的頁面檢索出來。

3. 端到端響應(yīng)質(zhì)量

• 兩個系統(tǒng)在檢索到正確的頁面后，都能讓GPT-4o生成詳細而精確的答案。
• ColPali通過其全面的檢索方法，為復(fù)雜查詢提供了更完整的答案。
• ColFlor縮短的檢索時間提供了更具響應(yīng)性的用戶體驗，這對于交互式應(yīng)用程序至關(guān)重要。

實際應(yīng)用表明，ColPali和ColFlor都是有效的多模態(tài)RAG系統(tǒng)解決方案，理想的選擇取決于你對速度、準確性和資源效率的需求。作為一個基線比較，包含圖表和表格中重要視覺信息的建筑和建筑文檔領(lǐng)域，像ColPali和ColFlor這樣的多模態(tài)系統(tǒng)比基于文本的標準方法表現(xiàn)更好。

成本與準確性：文檔檢索的實際部署考慮因素

ColFlor為在生產(chǎn)環(huán)境中工作的數(shù)據(jù)科學(xué)家和機器學(xué)習(xí)工程師帶來了顯著的實際好處。ColFlor較少的參數(shù)導(dǎo)致推理成本降低和響應(yīng)時間加快，這對于計算資源有限或?qū)ρ舆t要求較低的應(yīng)用程序非常有利。其高效的架構(gòu)使該模型可以部署在處理能力有限的硬件上。雖然ColPali需要配備大量內(nèi)存的GPU機器，但ColFlor即使在僅使用CPU的情況下也能表現(xiàn)得相當不錯。

ColPali仍然是多語言應(yīng)用程序和必須不惜一切代價追求最高準確性的場景的最佳選擇，但ColFlor在大多數(shù)實際文檔檢索任務(wù)中提供了卓越的性能效率。其精心設(shè)計的模型架構(gòu)在保持足夠性能水平的同時降低了資源需求，這使得多模態(tài)檢索在更廣泛的應(yīng)用中成為可能。

ColPali提供了卓越的功能，但與像ColFlor這樣的輕量級解決方案相比，它需要更多的計算能力。使用PaliGemma的30億個參數(shù)，與純文本方法相比，會導(dǎo)致推理過程更加耗費資源。當在建筑文檔搜索、施工文檔分析或法規(guī)合規(guī)決策支持等領(lǐng)域，從復(fù)雜的多模態(tài)文檔中進行精確檢索至關(guān)重要時，這種系統(tǒng)增加的計算成本就是合理的。

參考文獻

P., Adejumo, P., Thangaraj, S., Shankar, L., Dhingra, A., Aminorroaya & R. Khera (2024). Retrieval-augmented generation for extracting CHA?DS?-VASc risk factors from unstructured clinical notes in patients with atrial fibrillation. https://doi.org/10.1101/2024.09.19.24313992

M., Faysse, H., Sibille, T., Wu, B., Omrani, G., Viaud, C., Hudelot & P. Colombo (2025). ColPali: Efficient document retrieval with vision language models. Proceedings of the 13th International Conference on Learning Representations (ICLR) 2025, Singapore.

A., Masry & E. Hoque (2024). ColFlor: Towards BERT-Size Vision-Language Document Retrieval Models. The 38th Annual Conference on Neural Information Processing Systems (NeurIPS) 2024 Workshop MusIML Submission25, Vancouver, Canada.

本文轉(zhuǎn)載自???柏企閱文???，作者：柏企