Vision-Zero：零數(shù)據(jù)VLM自我進化！陳怡然團隊提出零監(jiān)督訓練新范式
背景介紹
盡管目前VLM在多模態(tài)任務上表現(xiàn)突出，但訓練過度依賴人工標注的數(shù)據(jù)與精心設計的強化學習獎勵。這種依賴帶來數(shù)據(jù)稀缺問題：多模態(tài)標注成本高昂，限制了訓練數(shù)據(jù)的規(guī)模與多樣性。同時存在知識天花板：模型能力受人類監(jiān)督邊界限制，難以突破人類已有知識和策略。曾經(jīng)AlphaGo所使用的自博弈技術通過模型與自身副本競爭交互并自動獲取反饋，把計算轉變?yōu)閿?shù)據(jù)的同時消除了對人工監(jiān)督的依賴，這使得它能夠持續(xù)推動模型進步并突破人類能力上限。但是受制于VLM的多模態(tài)特性，目前鮮有對自博弈在VLM上應用的系統(tǒng)性研究。為此研究團隊設計了一套適應VLM特性的自博弈框架Vision-Zero，此框架有如下特點：
（1）策略自博弈框架：Vision-Zero在以社交推理類游戲為模板的環(huán)境中訓練VLM，使得agent在自博弈過程中自動生成高復雜度推理數(shù)據(jù)，而無需人工標注。
（2）任意形式的圖片都可作為輸入：和以往有限制條件的游戲化訓練框架不同的是，Vision-Zero可在任意形式的圖片上啟動游戲，這使得模型可以在很多不同的領域里獲得相應的能力提升，并有很好的泛化性能。
（3）持續(xù)的性能提升：研究團隊提出了自博弈和可驗證獎勵的強化學習（RLVR）交替優(yōu)化的自博弈策略優(yōu)化算法（Iterative-SPO），這一算法解決了傳統(tǒng)自博弈算法中常見的性能瓶頸問題。
盡管沒有用任何標注數(shù)據(jù)做訓練，Vision-Zero在多個領域如推理，圖表問答和Vision-Centric理解任務上超越了其他有標注的SOTA后訓練方法。
從棋盤到現(xiàn)實：AlphaGo 自博弈思想的泛化
自博弈作為 OpenAI 早期的重要技術路線之一，也是人工智能發(fā)展歷程中多項里程碑事件的關鍵推動力。典型代表包括 2016 年 AlphaGo 戰(zhàn)勝李世石，以及 2019 年 OpenAI Five 在 Dota 2 上擊敗世界冠軍 OG 戰(zhàn)隊。人們在看到自博弈在某些特定領域大幅超越人類智能的同時，往往也會思考我們是否有可能把這種思想應用到更多的開放場景中。然而讓AlphaGo從棋盤走入現(xiàn)實需要解決以下幾個難題：
（1）Agent為贏得博弈所習得的技能，應當與目標任務所需的技能高度一致。
（2）博弈環(huán)境應當足夠多樣且復雜，以便廣泛的目標任務都能夠滿足條件 (1)。
（3）技能增長應當具有可擴展性：隨著自博弈的進行，環(huán)境應當不斷提高難度，使得越來越強的智能體能夠涌現(xiàn)，而不是讓訓練收斂到一個固定的上限。
受到社交推理游戲，如“誰是臥底”的啟發(fā)，研究團隊設計了一套完備的自博弈規(guī)則以解決上述難題，具體規(guī)則如下：
（1）游戲中有 n 名平民和 1 名臥底。玩家首先被告知自己的角色。
（2）每名玩家會得到一張圖片，臥底的圖片與平民略有不同（如缺失、添加或修改了某個物體）。
（3）線索階段：每位玩家觀察自己的圖片，并給出一個口頭線索，描述圖片內容（可以是物體描述、推斷信息等）。
（4）決策階段：多輪線索給出后，進入決策階段。玩家根據(jù)線索結合自己的圖片，投票找出臥底。
此游戲具有高度策略性與挑戰(zhàn)性，臥底需要根據(jù)他人線索推斷并偽裝自己，避免暴露。平民需要提供足夠準確但不泄密的線索，同時分析他人線索尋找可疑點。如此一來，Agent在游戲過程中便可生成足夠長且復雜的推理鏈條，并且隨著對手能力的提升，其所面臨的挑戰(zhàn)也會越來越大，并被激發(fā)出更強的視覺理解與推理能力。
領域無關的數(shù)據(jù)輸入
此游戲僅需要兩張有細微差異的圖片對作為輸入即可啟動，得益于目前強大的圖片編輯工具如ChatGPT或nano banana，數(shù)據(jù)的構建極其簡單并且成本低廉，因此此框架的應用場景非常廣泛。研究團隊使用了三種完全不同的場景圖片輸入作為訓練數(shù)據(jù)：
（1）CLEVR 合成場景：使用 CLEVR 渲染器自動生成了 2000 對圖像。原圖有 4–6 個隨機排列的物體，修改圖中有兩個物體在顏色和形狀上被改變。
（2）圖表數(shù)據(jù)：從 ChartQA 訓練集隨機選取了 1000 張圖表作為原始圖像，并使用 Gemini2.5-Flash 隨機交換圖表中的數(shù)值屬性生成對應的修改圖像。
（3）真實世界圖片：從 ImgEdit 訓練集中隨機抽取了 1000 對圖像，該數(shù)據(jù)集包含高質量的真實世界單輪圖像編輯對。
從局部均衡到可持續(xù)提升
純自博弈訓練容易陷入局部平衡，難以探索新的推理路徑，而單獨的強化學習方法在掌握現(xiàn)有問題集后也易出現(xiàn)知識飽和。為緩解這些問題，作者團隊提出采用雙階段交替訓練：當決策階段表現(xiàn)顯示線索階段已飽和時轉向線索訓練提高難度，反之則切回決策階段。此方法被命名為Iterative Self-Play Policy Optimization。實驗表明，兩階段交替訓練性能明顯優(yōu)于單階段訓練，對比如下。
實驗結果
強任務泛化能力。為了評估 Vision-Zero 框架下訓練的VLM是否能泛化到更廣泛的推理與數(shù)學任務，作者團隊在六個基準數(shù)據(jù)集上對模型進行測試（結果見表 1）。實驗表明，即使沒有使用標注數(shù)據(jù)做訓練，Vision-Zero 在各項基準上一致性得優(yōu)于其他需要標注的SOTA方法。其中，VisionZero-Qwen-7B（CLEVR、Real-World）較基線提升約 3%，VisionZero-Qwen-7B（Chart）提升約 2.8%，而目前最優(yōu)的基線方法僅約 1.9%。值得注意的是，基線方法需要大量數(shù)學與推理樣本訓練，而Vision-Zero 環(huán)境并未顯式包含數(shù)學任務，只通過自然語言策略博弈提升邏輯推理，并將所學能力有效遷移到更廣泛的數(shù)學與推理任務，甚至超過專門在大規(guī)模任務數(shù)據(jù)上訓練的模型。
跨能力負遷移的緩解。VLM 后訓練的關鍵難題之一是跨能力負遷移，即在特定任務上訓練后，模型在其他任務上反而變差。表 2 顯示，基線模型在推理和數(shù)學數(shù)據(jù)上后訓練后，性能明顯下降，例如MM-Eureka-Qwen-7B 在ChartQA 上下降約10%。相比之下，Vision-Zero訓練的模型能有效緩解負遷移：VisionZero-Qwen-7B（CLEVR）在視覺任務上顯著提升，同時在四個圖表/OCR 任務上平均僅下降 0.2%；VisionZero-Qwen-7B（Chart）在全部圖表/OCR 基準上都有提升，并在視覺任務上平均再漲 1%。這表明 Vision-Zero 的多能力策略訓練顯著減輕了傳統(tǒng)單一任務訓練中的負遷移問題。
啟示
Vision-Zero 證明了自博弈從單一任務走向通用任務的可行性與巨大潛力。通過構建開放、可擴展的博弈環(huán)境，它擺脫人工標注依賴，突破數(shù)據(jù)和知識瓶頸，使模型在無需特定任務訓練的前提下實現(xiàn)可持續(xù)的能力進化與跨領域泛化。同時，雙階段交替優(yōu)化有效避免自博弈常見的局部均衡問題。并且，通過自博弈訓練的VLM有效緩解了傳統(tǒng)的在單一任務上做訓練的跨能力負遷移問題。
https://github.com/wangqinsi1/Vision-Zero
https://huggingface.co/papers/2509.25541
https://arxiv.org/abs/2509.25541本文轉載自??PaperAgent??
