聊一下Qwen3-Next-80B-A3B實測感受！附測試用例！
Qwen又開源了，身為守護官的我，必須帶來一手實測。
這次開源的模型是Qwen3-Next-80B-A3B模型，依舊MoE，80B總參數，激活3B，與以往不同的是，這次是混合注意力架構。
Next意味著Qwen即將進入下一代，俊旸也說了，這是下一代的 preview 版本。
細數一下，Qwen2.5系列應該是Dense的神，Qwen3系列應該是Qwen穩定邁向MoE架構，
而Next系列，就是開啟Qwen混合架構的第一步，像MiniMax M1、HunYuan早期版本都是混合注意力架構，也就是線性注意力和標準注意力融合，在保證模型整體效果的前提下，讓模型又快，長文更強。
Qwen3-Next的模型結構如下，整體48層，12*（3層線性注意力層+1層標準注意力層），其中線性注意力使用Gated DeltaNet，感興趣可以看《Gated Delta Networks: Improving Mamba2 with Delta Rule》，標準注意力采用Qwen之前提出的Gated Attention，增加輸出門控機制，緩解注意力中的低秩問題，同時單個注意力頭維度從 128 擴展到 256，并且僅對注意力頭前 25% 的位置維度添加旋轉位置編碼，提高長度外推效果。
預訓練階段，數據總量15T tokens，從Qwen3總訓練36T數據中均勻采樣得來，然后推理階段引入了Multi-Token Prediction機制。
512個路由專家，每次激活10個，還有一個共享專家，激活2%的專家，高度稀疏，同時在加上線性注意力，讓Qwen3-Next-80B-A3B得訓練成本較Qwen3-30B-A3B、Qwen3-32B低很多，同時推理速度更快。
以上就差不多是Qwen3-Next的全部，下面來說說整體用下來的感受：
- Instrcut版本相較于30B-A3B提高不少，推理問題、邏輯問題都好不少，能理解隱藏的指令
- Think版本體驗下來提高不多，但大數據計算竟然對了
- 測試下來，Code不好，起碼我之前測試的case用Next-80B-A3B跑不出來
- 輸出普遍更長，Instrcut回答也很長
- 最后，80B大小對于我來說并不是理想尺寸，我更喜歡30、32尺寸，也許會出一個30B-A1B的？
測試之前給大家說一個有意思的發現，去測試這個prompt，幫小學生寫一篇“我最討厭的動物”作文，不能是貓狗，你會發現很多模型返回的都是蚊子，如果不是蚊子，那你就roll幾次，你會發現蚊子的概率很高。
很有意思，我直接網上搜了一下，搜到了這個，反正不是pretrain數據是一致的，就是post-train數據有類似的指令數據，反正都討厭“蚊子”。
但反過來想，當所有孩子（大模型）的作文都是討厭蚊子的時候，也是一個蠻可怕的事情，感興趣的歡迎大家評論區討論！
??https://m.kt250.com/xiaoxue/dongwuzuowen/qitaxiedongwuzuowen/980849.html??
常規測試
Prompt：將“I love Qwen3-Next-80B-A3B”這句話的所有內容反過來寫。
Next-80B-A3B-Instruct：回答正確，但答案超級長，截不下了。
Next-80B-A3B-Thinking：回答正確
角色扮演&創作
Prompt：幫小學生寫一篇“我最討厭的動物”作文，不能是貓狗。
Next-80B-A3B-Instruct：回答正確，符合小學生作文長度，之前模型會過長。
Next-80B-A3B-Thinking：回答正確。
知識理解
Prompt: 如何理解“但丁真不會說中國話，但丁真會說中國話”。
Next-80B-A3B-Instruct：回答正確。
Next-80B-A3B-Thinking：回答正確。
弱智吧
Prompt：生蠔煮熟了叫什么？
Next-80B-A3B-Instruct：回答正確。
Next-80B-A3B-Thinking：回答正確。
依舊老鷹不會飛
Prompt：未來的某天，李同學在實驗室制作超導磁懸浮材料時，意外發現實驗室的老鼠在空中飛，分析發現，是因為老鼠不小心吃了磁懸浮材料。第二天，李同學又發現實驗室的蛇也在空中飛，分析發現，是因為蛇吃了老鼠。第三天，李同學又發現實驗室的老鷹也在空中飛，你認為其原因是Next-80B-A3B-Instruct：回答錯誤。
Next-80B-A3B-Thinking：回答錯誤。
數學
Prompt：
Next-80B-A3B-Instruct和Next-80B-A3B-Thinking，均前兩問正確，最后一問錯誤
Prompt：178939247893 * 299281748617等于多少？
Next-80B-A3B-Instruct：回答錯誤，但知道用python。
Next-80B-A3B-Thinking：回答正確。
長文推理
Prompt：仔細閱讀全文內容，告訴我文章里一共出現了多少次劉聰NLP。 上傳的是一個三體全文，里面加了4個劉聰NLP。
Next-80B-A3B-Instruct：回答錯誤。
Next-80B-A3B-Thinking：推理卡死。
代碼
Prompt：可愛風格五子棋游戲界面，畫面有兩個模式按鈕「人人對戰」和「人機對戰」，界面整體采用馬卡龍色調，棋盤簡潔清晰，棋子設計成卡通小動物（如貓咪和小熊），背景帶有輕微漸變和星星點綴，界面邊緣圓潤，按鈕 Q 萌，整體風格溫馨可愛，適合兒童或休閑玩家使用，2D 插畫風。
Next-80B-A3B-Instruct：生成內容沒法玩，這個是30B-A3B可以生成出來的。
Next-80B-A3B-Thinking：生成內容沒法點。
最后想說，Qwen3-Next-80B-A3B應該算是，Qwen邁向下一代模型架構的起點，在極端的激活參數下的嘗試，Instruct模型有提高，但Thinking模型提高不大，但這也只是開始，期待之后版本，畢竟這是preview，期待越來越好！
本文轉載自??NLP工作站??，作者：NLP工作站
