DeepSeek-OCR是一個端到端的多模態文檔解析模型，是Vary、GOT-OCR2.0的后續，前期也有詳細介紹《??【多模態&文檔智能】OCR-free感知多模態大模型技術鏈路及訓練數據細節??》。其核心目標是用極少的視覺 token（vision tokens）解碼出大量文本 token（text tokens）。

視覺token壓縮比和性能比較

VLMs中的典型視覺編碼?：處理長文本時視覺 token 過多、激活內存大的問題

多模態文檔解析相關就不再過多介紹了，詳細可以看專欄《???文檔智能??》。

模型架構

如下圖，DeepSeek-OCR的架構由編碼器（DeepEncoder）和解碼器（DeepSeek3B-MoE-A570M）組成。

DeepSeek-OCR的架構

DeepEncoder

DeepEncoder設計

DeepEncoder是DeepSeek-OCR的最核心部分（高分辨率下的輕量視覺壓縮器），專門解決現有VLMs視覺編碼器（如Vary、InternVL2.0）的痛點：高分辨率輸入時token過多、激活內存大、不支持多分辨率。包含三個組件：

• 模塊1：視覺感知（窗口注意力主導）
  采用SAM-base（Segment Anything Model，80M參數），輸入圖像被分割為16×16的patch（如1024×1024圖像生成4096個patch token）。這個在vary和got中均使用。
  作用：通過窗口注意力（局部注意力）捕捉圖像細節（如文本位置、字體），避免全局注意力的高內存消耗。
• 模塊2：16×卷積壓縮器
  位于SAM和CLIP之間，由2層卷積構成（核大小3×3，步長2，通道數從256→1024），實現視覺token的16倍下采樣。
  作用：將SAM輸出的4096個token壓縮為256個（1024×1024輸入場景），大幅減少后續全局注意力模塊的計算量，控制激活內存。
• 模塊3：視覺知識（全局注意力主導）
  采用CLIP-large（300M參數），但移除第一層patch嵌入層（輸入改為壓縮后的token）。
  作用：通過全局注意力整合壓縮后的token，提煉圖像全局語義（如文檔布局、文本邏輯），為解碼提供結構化視覺知識。

多分辨率支持：適配不同壓縮比需求

DeepEncoder的多分辨率支持。為了研究和應用目的，設計了具有多種原生分辨率和動態分辨率模式的DeepEncoder

Base/Large模式通過“ padding 保留寬高比”，有效token數按公式下面公式計算（避免無效token浪費）。

MoE解碼器

解碼器使用的是DeepSeek3B-MoE，由3B參數的MoE模型，包含64個routed experts和2個shared experts。推理時僅激活6個routed experts+2個shared experts，實際激活參數約570M（僅為3B模型的19%）。這樣做既保留3B模型的文本生成能力，又將推理速度提升至“500M小模型”級別，適合大規模部署。

數據

1. OCR 1.0數據

OCR 1.0數據和前面的vary、got-ocr數據構建相似，主要用于訓練模型識別傳統OCR場景（文檔、自然場景文本）。 構成如下：

• 文檔數據：30M頁多語言PDF（100種語言，中英占25M頁），含“粗標注”（fitz工具提取，教模型識別文本）和“細標注”（2M頁中英，用PP-DocLayout+MinerU2.0標注布局+文本，教模型理解排版）；
• 自然場景數據：20M頁圖像（LAION+Wukong數據集，用PaddleOCR標注，支持中英場景文本識別）；
• Word數據：3M頁，無布局干擾，優化公式、HTML表格的識別。

OCR 1.0示例：將真實值格式化為交錯布局和文本格式，其中每段文本前都附有其在原始圖像中的坐標和標簽。所有坐標都歸一化到1000個區間內。

2. OCR 2.0數據

支持圖表、化學公式、幾何圖形的結構化解析。

• 圖表數據：10M張（線圖、柱狀圖等），標注為HTML表格（而非字典格式，節省token）；
• 化學公式：5M對圖像-文本（SMILES格式數據源，RDKit工具渲染圖像）；
• 平面幾何：1M張（Slow Perception方法生成，標注線段、端點坐標，支持幾何結構重建）。

示例

3. 通用視覺數據

避免模型僅適配OCR場景，保留VLMs的通用視覺能力（如圖像描述、目標檢測）。數據構成參考DeepSeek-VL2，生成圖像描述、目標檢測、視覺定位任務數據，占總數據20%。

4. 純文本數據

目的是提升解碼器的文本流暢度，避免“視覺-文本”映射導致語言能力退化。 10%的內部純文本數據，統一處理為8192 token長度（與模型序列長度一致）。

訓練流程

訓練分兩階段進行，先優化編碼器質量，再訓練端到端模型。

1. 階段1：獨立訓練DeepEncoder

與vary相似，讓編碼器學會“高分辨率輸入→壓縮視覺token”的映射，保證token質量。使用上述所有OCR 1.0和2.0數據，以及從LAION數據集中抽取的1億條通用數據。

2. 階段2：訓練端到端DeepSeek-OCR

聯合優化“編碼器→解碼器”的映射，提升OCR精度與泛化性。采用流水線并行（PP=4），DeepEncoder占2段（SAM+壓縮器凍結，CLIP解凍），解碼器占2段（12層MoE分6層/段）；

Gundam-M模式微調適配超高清文檔（如報紙），但避免與其他模式共訓拖慢速度。在預訓練好的DeepSeek-OCR上，用6M采樣數據繼續訓練Gundam-M模式（1024×1024局部+1280×1280全局）。

實驗

視覺-文本壓縮比

OmniDocBench評測

OmniDocBench中不同類別文檔的編輯距離

參考文獻：DeepSeek-OCR: Contexts Optical Compression，https://github.com/deepseek-ai/DeepSeek-OCR/blob/main/DeepSeek_OCR_paper.pdf
權重地址：https://huggingface.co/deepseek-ai/DeepSeek-OCR

本文轉載自??大模型自然語言處理??   作者：老余