隨著人工智能技術的不斷發展，多模態模型在圖像理解、自然語言處理等領域的應用越來越廣泛。SAIL-VL2 是由字節跳動抖音 SAIL 團隊和新加坡國立大學 LV-NUS 實驗室聯合推出的一款開源多模態視覺語言模型，旨在實現全面的多模態理解和推理。

一、項目概述

SAIL-VL2 是由字節跳動抖音 SAIL 團隊和新加坡國立大學 LV-NUS 實驗室聯合開發的開源視覺語言基礎模型。作為 SAIL-VL 的繼任者，SAIL-VL2 在 2B 和 8B 參數規模下，于多樣化的圖像與視頻基準測試中均達到當前最優性能，展現出從細粒度感知到復雜推理的強勁能力。其核心創新包括大規模數據篩選與優化、漸進式訓練框架以及混合專家（MoE）架構，使得模型在效率和性能上均實現了顯著提升。

圖片

二、核心功能

（一）多模態理解與交互

SAIL-VL2 能夠同時處理圖像和文本信息，準確完成多種任務，如圖像描述生成、視覺問答等。它能夠理解視覺內容并生成相應的語言描述，為多模態交互提供了強大的基礎。這種能力使其在內容創作、智能客服等領域具有廣泛的應用前景。

（二）高效的模型架構

SAIL-VL2 采用創新的混合專家（MoE）架構，在僅激活部分參數的情況下實現高性能，顯著提升了計算效率。這種架構突破了傳統密集型模型的限制，使得模型在大規模數據處理和復雜任務中表現出色，同時降低了訓練和部署成本。

（三）精準的理解與推理

通過先進的多模態融合技術，SAIL-VL2 能夠更準確地理解復雜的視覺信息，并結合上下文進行深度推理。它在多種基準測試中表現出色，尤其是在復雜推理任務中，展現了強大的邏輯推理能力，為多模態應用提供了可靠的解決方案。

（四）大規模數據處理

SAIL-VL2 通過優化的數據處理管道，能夠高效處理海量的多模態數據。其數據處理策略包括評分與篩選，確保數據質量和分布的多樣性，從而提升訓練效率和模型性能。這種能力使其在處理大規模多模態數據時具有顯著優勢。

（五）多任務學習

SAIL-VL2 支持多種多模態任務，如字幕生成、OCR 識別、視頻理解等，具有廣泛的適用性。通過多任務學習，模型能夠同時處理多種任務，展現出強大的通用性和適應性，為多模態應用提供了靈活的解決方案。

三、技術揭秘

（一）視覺編碼器SAIL-ViT

SAIL-VL2 的視覺編碼器 SAIL-ViT 基于 Vision Transformer 架構，能夠高效地將圖像和視頻編碼為視覺標記序列。通過漸進式訓練，SAIL-ViT 逐步提升視覺特征與語言模型的對齊能力，最終實現全面的跨模態融合。這種設計不僅提高了視覺理解的準確性，還增強了模型在多模態任務中的表現。

（二）漸進式訓練框架

SAIL-VL2 采用漸進式訓練框架，從視覺編碼器的預訓練開始，逐步過渡到多模態預訓練，最后通過監督微調（SFT）和強化學習（RL）混合范式進行優化。這種分階段的訓練方法系統性地提升了模型的多模態理解和推理能力，確保模型在不同任務中都能表現出色。

（三）混合專家（MoE）架構

SAIL-VL2 引入了高效的混合專家（MoE）架構，突破了傳統密集型大語言模型的限制。通過僅激活部分參數，MoE 架構在保持高性能的同時顯著提升了計算效率和模型規模的可擴展性。這種架構設計使得 SAIL-VL2 在處理大規模多模態數據時更加高效。

（四）數據處理與優化

SAIL-VL2 通過優化的數據處理管道，能夠高效處理海量的多模態數據。其數據處理策略包括評分與篩選，確保數據質量和分布的多樣性，從而提升訓練效率和模型性能。此外，SAIL-VL2 還采用了動態學習率搜索（AdaLRS）等技術，進一步優化訓練過程。

（五）多模態任務適配

SAIL-VL2 通過設計靈活的適配器和訓練策略，能夠適應多種多模態任務，如圖像描述生成、視覺問答、視頻理解等。這種多任務適配能力使得 SAIL-VL2 在不同應用場景中都能展現出強大的通用性和適應性，為多模態應用提供了靈活的解決方案。

四、基準評測

（一）多模態理解任務

在MMBench-v1.1、MMStar、RealWorldQA 等基準測試中，SAIL-VL2-2B 和 SAIL-VL2-8B 均取得了領先的成績。

（二）復雜推理任務

SAIL-VL2-Thinking 在 MathVista、LogicVista 等復雜推理基準測試中表現出色，8B 版本的零樣本分數達到 75.8。

五、應用場景

（一）圖像描述生成

SAIL-VL2 能夠根據輸入的圖像自動生成準確且自然的描述文本。這一功能在內容創作、智能標注等領域具有重要應用價值。例如，它可以為社交媒體平臺自動生成圖像描述，幫助用戶更快地發布內容，提升用戶體驗。此外，它還可以用于輔助視障人士理解圖像內容，提供更加友好的信息訪問方式。

（二）視覺問答（VQA）

SAIL-VL2 可以理解圖像內容并回答與圖像相關的問題。這一功能在智能客服、教育輔助等領域具有廣泛應用。例如，在智能客服中，SAIL-VL2 可以通過圖像問答幫助用戶解決產品相關問題；在教育領域，它可以輔助學生理解復雜的圖像內容，提高學習效果。

（三）多模態內容創作

SAIL-VL2 支持從文本生成圖像或從圖像生成文本，實現視覺與語言之間的有效轉換。這一功能在廣告設計、故事創作等領域具有重要應用。例如，廣告設計師可以利用 SAIL-VL2 根據創意文本快速生成圖像，提高創作效率；創作者也可以通過圖像生成文本，豐富內容形式。

（四）視頻理解與分析

SAIL-VL2 能夠處理視頻數據，提取關鍵幀信息并生成視頻摘要或描述。這一功能在視頻推薦、監控分析等領域具有重要應用。例如，在視頻推薦系統中，SAIL-VL2 可以通過視頻理解生成更準確的視頻標簽，提升推薦效果；在監控分析中，它可以實時分析視頻內容，及時發現異常情況。

（五）智能搜索

SAIL-VL2 結合圖像和文本信息，提供更精準的搜索結果。這一功能在電商平臺、內容檢索等領域具有重要應用。例如，在電商平臺上，用戶可以通過上傳圖像或輸入文本，快速找到相關商品；在內容檢索中，SAIL-VL2 可以通過多模態理解，提供更準確的搜索結果，提升用戶體驗。

 六、快速使用

以SAIL-VL2-2B 模型為例，以下是使用 Python 進行推理的代碼示例：

import torch
from transformers import AutoTokenizer, AutoModel, AutoProcessor
from PIL import Image


model_path = "your model path"


tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)
device = torch.cuda.current_device()
model = AutoModel.from_pretrained(model_path, trust_remote_code=True, torch_dtype=torch.bfloat16,).to(device)


print("###with images")
messages = [
    {"role": "user", "content": [{"type": "image", "image": 'image_path'},
    {"type": "text", "text": "describe the image"}]}
]
text = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)


image_path = 'your image path'
image = Image.open(image_path)
inputs = processor(images=image, text=text, return_tensors="pt", padding=True, truncatinotallow=True).to(model.device).to(torch.bfloat16)


generated_ids = model.generate(**inputs, max_new_tokens=512)
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
response = response.split('<|im_end|>')[0].strip()
print(response)


print("###without images")
messages = [
    {
        "role": "user",
        "content": [{"type": "text", "text": "中國的首都是哪里？"}]
    }
]
text = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
inputs = processor(images=None, text=text, return_tensors="pt", padding=True, truncatinotallow=True).to(model.device).to(torch.bfloat16)
generated_ids = model.generate(**inputs, max_new_tokens=512)
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
response = response.split('<|im_end|>')[0].strip()
print(response)

結語

SAIL-VL2 作為一款開源的多模態視覺語言模型，憑借其高效的架構設計、強大的多模態能力和卓越的推理性能，在多個領域展現出了巨大的應用潛力。其開源特性為研究人員和開發者提供了豐富的資源，有助于推動多模態人工智能技術的發展與創新。

項目地址如下：

Github倉庫：https://github.com/BytedanceDouyinContent/SAIL-VL2

Hugging Face 模型庫：(https://huggingface.co/BytedanceDouyinContent

arXiv 技術論文：https://arxiv.org/pdf/2509.14033