長期以來，多模態代碼生成（Multimodal Code Generation）的訓練嚴重依賴于特定任務的監督微調（SFT）。盡管這種范式在 Chart-to-code 等單一任務上取得了顯著成功 ，但其 “狹隘的訓練范圍” 從根本上限制了模型的泛化能力，阻礙了通用視覺代碼智能（Generalized VIsioN Code Intelligence）的發展 。同時，「SFT-only」的范式在確保代碼可執行性和高視覺保真度方面存在顯著瓶頸 。

在此背景下，中科院 & 美團研究團隊推出了 VinciCoder ，一個旨在打破 SFT 瓶頸的統一多模態代碼生成模型。VinciCoder 首次將強化學習的獎勵機制從文本域轉向視覺域，提出視覺強化學習（ViRL） ，專攻 SFT 無法解決的視覺保真度難題。

本文提出的系統性框架 VinciCoder，通過 “大規模 SFT + 粗細粒度 ViRL” 的兩階段策略，有效統一了從圖表、網頁、SVG 到科學繪圖（LaTeX、化學分子）等多樣化代碼生成任務 。

• 論文標題：VinciCoder: Unifying Multimodal Code Generation via Coarse-to-fine Visual Reinforcement Learning 
• 論文鏈接：https://arxiv.org/abs/2511.00391 
• Github 鏈接：https://github.com/DocTron-hub/VinciCoder 

數據代碼模型權重已開源。

核心創新與技術突破

該論文同樣對傳統 SFT 范式的局限性進行了深入分析，發現其關鍵問題在于訓練目標與最終任務之間存在 “視覺鴻溝”：

• 目標是局部的：SFT 采用自回歸的 “下一詞元預測” 目標 ，這本質上是局部的，無法為代碼 “可執行性” 等全局屬性提供監督信號 。
• 缺乏視覺反饋：模型在訓練時完全看不到代碼的渲染結果 。這是一個致命缺陷，因為在代碼中 “微小的修改就可能導致渲染圖像發生巨大變化” 。

這種 “視覺 - 代碼” 監督的缺失，直接導致了兩個關鍵問題：

• 保真度低且不可靠：模型僅在詞元層面（token-level）進行優化 ，無法保證渲染出的圖像在視覺上與輸入對齊，也無法保證代碼可以成功執行 。
• 泛化能力差：依賴特定任務的數據集進行 SFT，難以形成一個統一的多模態代碼生成框架 。

考慮到 SFT 的根本局限性，研究者認為必須引入一個能夠提供全局視覺反饋的機制。然而，傳統的 RL 方法依賴難以泛化的 “基于規則的文本獎勵” 。VinciCoder 的破局點在于 —— 將獎勵機制從文本域徹底轉向視覺域 。

VinciCoder 的核心思路是：用大規模、多樣化的 SFT 構建強大的代碼基礎能力 ，再通過創新的 ViRL 策略專門優化 SFT 無法觸及的視覺保真度和可執行性 。訓練框架由「1.6M 大規模 SFT 階段」和「42k 粗細粒度 ViRL 階段」兩部分組成 ，核心是通過兩階段協作，同時實現強大的代碼理解與高保真的視覺對齊。

1. 大規模 SFT 語料庫與代碼優化任務

研究團隊首先構建了一個包含 1.6M 圖像 - 代碼對的大規模監督微調（SFT）語料庫 。該語料庫不僅覆蓋了直接代碼生成任務，還引入 “視覺代碼優化” 的新任務 。在這項任務中，模型會接收到一個目標圖像和一個 “有缺陷” 的代碼片段（包含邏輯錯誤或只能部分渲染）。模型的目標是修正這段代碼，使其視覺輸出與目標圖像精確對齊 。這一設計極大地提升了模型在代碼層面的糾錯和優化能力，為后續的強化學習階段奠定了堅實基礎 。

2. 從 “文本獎勵” 到 “視覺獎勵”：粗細粒度 ViRL 框架

傳統 SFT 訓練在多模態代碼生成上存在根本缺陷：它缺乏 “視覺 - 代碼” 的閉環反饋 ，且無法保證代碼的全局可執行性 。

為解決此問題，VinciCoder 引入了視覺強化學習 (ViRL) 框架 。該框架摒棄了傳統強化學習中脆弱的、基于規則的 “文本獎勵” ，轉而從視覺直接獲取獎勵信號 。

其核心突破在于一套粗 - 細粒度（Coarse-to-fine）視覺獎勵機制：

• 渲染與編碼：模型生成的代碼被實時渲染成圖像 。
• 粗粒度（全局）：通過下采樣生成縮略圖，評估整體結構的相似性 。
• 細粒度（局部）：將高分辨率圖像分割為多個局部圖塊（patches），精確計算局部細節的保真度 。
• ViT 獎勵模型：使用 DINOv2-L 計算渲染圖像與目標圖像在兩個粒度上的視覺相似度，作為獎勵信號。
• 對齊獎勵 ：引入一個輔助的語言對齊獎勵，用于懲罰生成了錯誤代碼語言（如要求 Python 卻生成了 LaTeX 的行為）
• 策略優化：采用群組相對策略優化 (GRPO) 算法 對模型進行微調，顯著提升視覺對齊度和代碼可執行性。

據我們所知，VinciCoder 是第一個應用強化學習（RL）來實現統一視覺代碼生成領域中 “跨領域視覺保真度” 提升的視覺語言模型 。

實驗結果與性能表現

論文在五大多模態代碼生成基準上進行了全面實驗，對比了包括 Qwen、InternVL 等開源模型以及 Gemini-2.5-Pro、Claude-4.5、GPT-5 等閉源模型 ，核心結果如下：

實驗結果令人矚目：VinciCoder 在多個主流多模態代碼生成基準上均取得了卓越表現。

• SOTA 性能：VinciCoder 在開源模型對比中樹立了新的 SOTA 標準 ，其性能顯著優于所有同等規模的競爭對手 。
• 媲美閉源模型：在如 Image-to-SVG 和化學分子式生等高難度任務上，VinciCoder 展現出超越頂尖閉源模型的卓越性能 。
• 策略有效性：消融實驗證明，僅 SFT 階段的 VinciCoder-SFT 就已建立起強大的基線 ；而 ViRL 階段的引入，則成功將模型性能提升至 SOTA 水平 ，充分驗證了 SFT-ViRL 兩階段策略的壓倒性優勢。

研究意義與應用前景

VinciCoder 的研究不僅在技術上取得了重大突破，也為多模態代碼生成領域提供了全新的研究范式：

• 驗證 RL 新路徑：證明了 “視覺強化學習” 是突破 SFT 瓶頸、提升代碼視覺保真度的有效途徑，將獎勵機制從文本域成功擴展到視覺域 。
• 統一框架的實現：打破了過去模型 “各自為戰” 的狹隘范式 ，提供了一個強大的統一框架，能夠處理包括 Python、HTML、SVG、LaTeX 乃至化學 SMILES 在內的多樣化代碼生成任務 。
• 高保真度獎勵機制：“粗 - 細粒度” 獎勵設計為處理高分辨率、高復雜度視覺輸入的 RL 任務提供了健壯且可擴展的解決方案 。

結論

VinciCoder 的核心價值并非單純地堆砌 SFT 數據，而是通過 “SFT + 粗細粒度 ViRL” 的組合，證明了 “以視覺反饋指導代碼生成” 的可行性與優越性。這一思路不僅解決了傳統 SFT 范式在可執行性與視覺保真度上的痛點，也為后續通用多模態智能體的研發提供了新的思路。

在總體思路上，該論文的思路與 R1-Style 方法高度相關，都驗證了強化學習在提升基礎模型高級能力上的巨大潛力。VinciCoder 的成功探索表明，RL 不僅可以用于優化數學推理等文本任務，更可以作為連接 “視覺” 與 “代碼” 兩大模態的橋梁，解決 SFT 無法企及的跨模態對齊難題。

更多細節請參閱原論文。