先說結論，實際體驗一般，如果是下游rag文檔的元素不是特別復雜可以用一用這個端到端的多模態模型，如果版式元素豐富，還是老實進行文檔解析吧。但通過pdfparser工具結合prompt結合的方式值得一看。

• 在線demo：https://olmocr.allenai.org/
• 開源權重地址：https://huggingface.co/allenai/olmOCR-7B-0225-preview
• paper：Efficient PDF Text Extraction with Vision Language Models，https://arxiv.org/pdf/2502.18443v1
• code：https://github.com/allenai/olmocr

筆者測試case：

原圖

OLMOCR解析后，紅色框表格缺失部分

核心問題與背景

PDF文檔蘊含海量高質量文本數據，但因其復雜的視覺布局（多欄、表格、公式等）和元數據缺失，傳統OCR工具難以準確提取內容。現有解決方案存在以下痛點：

• pipline系統（如Grobid）依賴多組件串聯，對復雜布局泛化性差； 筆者前期分享了很多相關技術鏈路《??文檔智能系列欄目???》、《??【文檔智能 & RAG】RAG增強之路：增強PDF解析并結構化技術路線方案及思路??》

pipline系統

• 端到端模型（如Nougat）僅依賴圖像輸入，忽略PDF原生元數據，成本高昂（如GPT-4o處理百萬頁需$6,200）；
• 數據稀缺：缺乏大規模、多樣化的PDF訓練數據。

OLMOCR創新點

1. DOCUMENT-ANCHORING技術

Prompt如：原圖：

通過pdfpaser得到元數據拼接提示詞得到：

• 兼容性：對無元數據的掃描文檔仍保持高精度，僅依賴圖像輸入。
• 元數據提取：通過pypdf庫解析PDF結構，提取關鍵元素的位置信息，動態注入模型提示（Prompt）。
• 多模態輸入融合（通過提示詞）：同時利用PDF原生元數據（文本塊坐標、圖像位置）和頁面圖像，顯著減少模型幻覺。

 2.蒸餾模型

• 模型架構：基于Qwen2-VL-7B-Instruct微調，支持Markdown結構化輸出（公式LaTeX、表格Markdown）。
• 訓練數據：構建olmOCR-mix-0225數據集（26萬頁PDF），涵蓋學術論文、法律文件、手冊等多樣化來源（表1-2）。

實驗結果

與教師模型GPT-4o的文本對齊度達87.5%，優于GPT-4o mini（83.3%）。溫度（τ=0.8）下對齊度略降（85.9%），但減少生成重復。

在2,017份PDF的對比測試中，OLMOCR以ELO 1800+顯著優于Marker、MinerU等工具（圖6）。使用OLMOCR數據微調OLMo-2模型，在MMLU、ARC等基準上平均提升1.3%。

公眾號大模型自然語言處理  作者：余俊暉

原文鏈接：??https://mp.weixin.qq.com/s/9JfKg1HTVKO6s2wQi-qW7Q??