字節跳動開源Seed-OSS-36B：512K上下文，多個領域刷新紀錄！ 原創
昨晚，字節跳動Seed團隊正式宣布開源Seed-OSS系列大語言模型，此次開源的Seed-OSS系列包括三個版本：
?
-Seed-OSS-36B-Base：含合成數據
-Seed-OSS-36B-Base：不含合成數據
-Seed-OSS-36B-Instruct：指令微調版
?
?
所有模型均采用Apache-2.0許可證發布，為研究人員和開發者提供了極大的使用、修改和再分發自由度。
?
Seed-OSS-36B模型擁有360億參數，僅使用12萬億token進行訓練，卻在多個主流開源基準測試中表現出色。模型支持原生512K上下文長度，這是 OpenAI 最新GPT-5模型系列的兩倍，意味著用戶可以一次性處理大量信息，如長達1600頁的文檔。
?
模型采用了流行的因果語言模型架構，結合了RoPE位置編碼、分組查詢注意力（GQA）機制、RMSNorm和SwiGLU激活函數。其具體架構參數包括64層網絡、80/8/8的QKV頭配置、128的頭維度、5120的隱藏層大小和155K的詞匯表大小。
?
可控思維預算
Seed-OSS-36B引入了一項創新特性——可控思維預算（Controllable Thinking Budget）。這意味著用戶根據任務復雜性靈活指定模型的推理長度，動態控制推理過程，顯著提高了推理效率。
?
在實際使用中，用戶可以設置512、1K、2K、4K、8K 或 16K的思維預算。模型在推理過程中會定期觸發自我反思，估計已消耗和剩余的預算，讓用戶始終掌控資源使用情況。對于簡單任務，模型可以使用較短的思維鏈快速響應；對于復雜任務，則可以分配更多預算進行深度思考。
?
性能表現
根據發布的基準測試結果，Seed-OSS-36B在多個領域都達到了開源模型的先進水平。
?
Base版模型在MMLU-Pro上取得65.1分，在MMLU上取得84.9分，在GSM8K上取得90.8分，在MATH上取得81.7分，在HumanEval上取得76.8分，在BBH上取得87.7分，在MBPP上取得80.6分。
?
?
Instruct版本表現更為突出：在AIME24數學基準上達到91.7%，在AIME25上達到84.7%，在LiveCodeBench v6編碼基準上達到67.4%，在TAU1-Retail代理任務上達到70.4%，在SWE-Bench Verified上達到56.0%，在RULER（128K）長上下文測試中達到94.6。
?
?
可以看出，Seed-OSS-36B在數學推理、編程能力、代理任務和長上下文處理方面都表現出色，特別是在代理任務和長上下文處理上，該模型創造了開源模型的新紀錄。
?
模型支持通過Hugging Face Transformers和vLLM進行推理，并提供了4-bit和8-bit量化版本。推薦的生成參數為temperature=1.1和top_p=0.95，在這一配置下，模型在多數任務上都能取得最佳性能。
?
由于36B參數規模較大，即使用Q4量化，也需要大約20GB以上的VRAM。建議使用支持部分卸載的推理框架。
?
模型已經通過Hugging Face發布，開發者可以立即開始使用和探索這一強大的開源模型。
