開源超閉源！通義千問Qwen2發(fā)布即爆火，網(wǎng)友：GPT-4o危
開源大模型全球格局，一夜再變。
這不，全新開源大模型亮相，性能全面超越開源標(biāo)桿Llama 3。王座易主了。不是“媲美”、不是“追上”，是全面超越。發(fā)布兩小時，直接沖上HggingFace開源大模型榜單第一。
這就是最新一代開源大模型Qwen2，來自通義千問，來自阿里巴巴。
在十幾項(xiàng)國際權(quán)威測評中，Qwen2-72B得分均勝過Llama3-70B，尤其在HumanEval、MATH等測試代碼和數(shù)學(xué)能力的基準(zhǔn)中表現(xiàn)突出。
不僅如此，作為國產(chǎn)大模型，Qwen2-72B也“畢其功于一役”，超過了國內(nèi)一眾閉源大模型：
Qwen2-72B相比于自家前代模型Qwen1.5-110B實(shí)現(xiàn)了整體性能的代際提升，而在上海AI Lab推出的OpenCompass大模型測評榜單上，Qwen1.5-110B已經(jīng)超過了文心4、Moonshot-v1-8K等一眾國內(nèi)閉源模型。隨著Qwen2-72B的問世，這一領(lǐng)先優(yōu)勢還在擴(kuò)大。
有網(wǎng)友便感慨說：這還只是剛開始。開源模型很可能在未來幾個月，就能擊敗GPT-4o為代表的閉源模型。
Qwen2的發(fā)布，可以說是一石激起千層浪。
上線僅1天，下載量已經(jīng)超過3萬次。
網(wǎng)友們還發(fā)現(xiàn)，除了72B和指令調(diào)優(yōu)版本，這次同步開源的Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B，開源許可都換成了Apache 2.0——
就是說可以更加自由地商用。這是Llama 3系列都沒做到的。
在AI大模型領(lǐng)域，時間和速度都不同了。
因?yàn)榫嚯x阿里推出Qwen1.5-110B模型刷新SOTA，全球開源大模型形成雙雄格局，才剛過去1個月時間。
而現(xiàn)在，Qwen2獨(dú)領(lǐng)風(fēng)騷，全球開源第一，國產(chǎn)大模型第一——連不開源的大模型都超越了。
Qwen2挑戰(zhàn)高考數(shù)學(xué)真題
還是先來整體梳理一下Qwen2的基本情況。
根據(jù)官方技術(shù)博客介紹，Qwen2的特點(diǎn)和相比Qwen1.5的主要升級包括：
- 發(fā)布5個尺寸的預(yù)訓(xùn)練和指令微調(diào)模型，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B。其中Qwen2-57B-A14B是一個MoE模型。
- 在中文英語的基礎(chǔ)上，對27種語言進(jìn)行了增強(qiáng)。有阿拉伯語開發(fā)者表示，Qwen已經(jīng)成為4億阿拉伯語用戶喜歡的大模型，穩(wěn)居阿拉伯語開源模型榜單第一。
- 在MMLU、GPQA、HumanEval、GSM8K、BBH、MT-Bench、Arena Hard、LiveCodeBench等國際權(quán)威測評中，Qwen2-72B斬獲十幾項(xiàng)世界第一，超過Llama 3。
- 代碼和數(shù)學(xué)能力顯著提升。
- 增大了上下文長度支持，最長實(shí)現(xiàn)128K tokens上下文長度支持（Qwen2-7B-Instruct和Qwen2-72B-Instruct）。
紙面數(shù)據(jù)上，Qwen2在開源大模型中已經(jīng)達(dá)成全球最強(qiáng)，那么實(shí)際表現(xiàn)又會如何？
我們用新鮮出爐的高考數(shù)學(xué)真題上手實(shí)測了一波。
先來個簡單題：
已知集合A={x|-5＜x^3<5}，B={-3,-1,0,2,3}，則A∩B=()
左邊是Qwen2-72B-Instruct，右邊是Llama-3-70B-Instruct。除了Llama 3原版的老問題不咋支持中文外，兩邊的答案都是正確的。
那么就稍微上點(diǎn)難度：
當(dāng)x∈[0, 2π]時，曲線y=sinx與y=2sin(3x-π/6)的交點(diǎn)個數(shù)為？
Qwen2-72B-Instruct依然沒有被難住，一通計(jì)算后給出正確答案：交點(diǎn)個數(shù)為6個。
而Llama-3-70B-Instruct則計(jì)算錯誤，扣5分。
Qwen2在數(shù)學(xué)能力方面，已經(jīng)到了高考考場接受真題檢驗(yàn)的水平。
通義千問此番升級，官方和評測數(shù)據(jù)還突出了代碼能力的提升，我們也有LeetCode中等難度真題淺測了一下：
給你一個按照非遞減順序排列的整數(shù)數(shù)組nums，和一個目標(biāo)值target。請你找出給定目標(biāo)值在數(shù)組中的開始位置和結(jié)束位置。如果數(shù)組中不存在目標(biāo)值 target，返回 [-1, -1]。你必須設(shè)計(jì)并實(shí)現(xiàn)時間復(fù)雜度為 O(log n) 的算法解決此問題。
Qwen2-72B-Instruct給出的python實(shí)現(xiàn)如下：
def searchRange(nums, target):def binary_search_left(nums, target):
left, right = 0, len(nums)while left < right:
mid = (left + right) // 2if nums[mid] < target:
left = mid + 1else:
right = midreturn left
def binary_search_right(nums, target):
left, right = 0, len(nums)while left < right:
mid = (left + right) // 2if nums[mid] <= target:
left = mid + 1else:
right = midreturn left
left, right = binary_search_left(nums, target), binary_search_right(nums, target)return [left, right - 1] if left <= right - 1 and nums[left] == target and nums[right - 1] == target else [-1, -1]一開始沒有定義Solution類導(dǎo)致報(bào)錯，不過直接把報(bào)錯信息反饋給Qwen2，它自己就能完成debug：
順利通過測試。
全尺寸模型標(biāo)配GQA
這波實(shí)測，你給通義千問打幾分？
值得關(guān)注的是，這次阿里官方的技術(shù)博客中，還透露出了不少Q(mào)wen變強(qiáng)的技術(shù)細(xì)節(jié)。
首先，是GQA（Grouped Query Attention）的全面加持。
GQA，即分組查詢注意力機(jī)制，主要思想將輸入序列劃分成若干個組，在組內(nèi)和組間分別應(yīng)用注意力機(jī)制，以更好地捕捉序列內(nèi)的局部和全局依賴關(guān)系。
GQA能夠有效降低計(jì)算復(fù)雜度，同時很容易實(shí)現(xiàn)并行化從而提高計(jì)算效率。
在Qwen1.5系列中，只有32B和110B模型使用了GQA。而Qwen2則全系列用上了這一注意力機(jī)制。也就是說，無論是高端玩家還是愛好者入門，這回都能在Qwen2各個尺寸模型中體驗(yàn)到GQA帶來的推理加速和顯存占用降低的優(yōu)勢。
另外，針對小模型（0.5B和1.5B），由于embedding參數(shù)量較大，研發(fā)團(tuán)隊(duì)使用了tie embedding的方法讓輸入和輸出層共享參數(shù)，以增加非embedding參數(shù)的占比。
其次，在上下文長度方面，Qwen2系列中所有Instruct模型，均在32K上下文長度上進(jìn)行訓(xùn)練，并通過YARN或Dual Chunk Attention等技術(shù)擴(kuò)展至更長的上下文長度。
其中，Qwen2-7B-Instruct和Qwen2-72B-Instruct支持128K上下文。72B版本的最長上下文長度可以達(dá)到131072個token。
Qwen2-57B-A14B-Instruct能處理64K上下文，其余兩個較小的模型（0.5B和1.5B）則支持32K的上下文長度。
大海撈針的實(shí)驗(yàn)結(jié)果如下?？梢钥吹剑琎wen2-72B-Instruct在處理128K上下文長度內(nèi)的信息抽取任務(wù)時，表現(xiàn)稱得上完美。
除此之外，在數(shù)據(jù)方面，Qwen2繼續(xù)探索Scaling Law的路線。
比如數(shù)學(xué)能力的提升，就是研究團(tuán)隊(duì)給模型喂了大規(guī)模高質(zhì)量數(shù)學(xué)數(shù)據(jù)的結(jié)果。
在多語言能力方面，研究團(tuán)隊(duì)也針對性地在訓(xùn)練數(shù)據(jù)中增加了27種語言相關(guān)的高質(zhì)量數(shù)據(jù)。
博客還透露，接下來，通義千問研究團(tuán)隊(duì)還將繼續(xù)探索模型及數(shù)據(jù)的Scaling Law，還會把Qwen2擴(kuò)展為多模態(tài)模型。
重新認(rèn)識中國開源大模型
更強(qiáng)的性能、更開放的態(tài)度，Qwen2剛一發(fā)布，堪稱好評如潮。
而在此前，生態(tài)方面，Qwen系列下載量已突破1600萬次。海內(nèi)外開源社區(qū)也已經(jīng)出現(xiàn)了超過1500款基于Qwen二次開發(fā)的模型和應(yīng)用。
已經(jīng)有開發(fā)者感受到了：在開源路線上，現(xiàn)在中國大模型正在成為引領(lǐng)者。
Qwen2的最新成績單，至少印證了兩個事實(shí)。
其一，中國開源大模型，從性能到生態(tài)，都已具備跟美國最強(qiáng)開源大模型Llama 3全面對壘的硬實(shí)力。
其二，如圖靈獎得主Yann LeCun所預(yù)言，開源大模型已經(jīng)走在了超越閉源模型的道路上，拐點(diǎn)已現(xiàn)。
事實(shí)上，這也是包括阿里在內(nèi)，開源大模型玩家的明牌——
大模型的持續(xù)優(yōu)化和進(jìn)步，一方面依賴于強(qiáng)大的AI研發(fā)能力、領(lǐng)先的基礎(chǔ)設(shè)施能力，也就是人工智能和云的強(qiáng)強(qiáng)聯(lián)合。
以阿里為例，作為中國云廠商份額第一，依托于強(qiáng)大的云計(jì)算能力，能為AI訓(xùn)練、AI應(yīng)用提供穩(wěn)定高效的AI基礎(chǔ)服務(wù)體系，同時在人工智能方面有長期的積累。
另一方面也需要來自外界的不斷反饋和技術(shù)推動。
開源社區(qū)的技術(shù)反哺，從Qwen2上線第一天，GitHub上的Issues數(shù)量就可見一斑。
在技術(shù)領(lǐng)域，開源就是我為人人、人人為我，是全球科技互聯(lián)網(wǎng)繁榮發(fā)展至今最核心的精神要素。
不論任何一個時代，不管哪種新興技術(shù)浪潮，沒有程序員、工程師不以開源感到驕傲，甚至快樂。
阿里高級算法專家、開源負(fù)責(zé)人林俊旸，曾對外分享過通義千問進(jìn)展飛快的“秘籍”：快樂。
因?yàn)槊嫦蛉蜷_發(fā)者服務(wù)，面向其他開發(fā)者交流，給別人帶去實(shí)實(shí)在在的幫助，這樣通義千問大模型的打造者們快樂又興奮，關(guān)注著每一個開發(fā)者的反饋，激動于全新意想不到的落地應(yīng)用。
這也是科技互聯(lián)網(wǎng)世界曾經(jīng)快速發(fā)展的核心原因，黃金時代，開源才是約定俗成的，不開源反而要遭受質(zhì)疑。
然而時移世易，在大模型時代，由于研發(fā)成本、商業(yè)模式和競爭多方面的原因，閉源的光芒一度掩蓋了開源，Close成了寵兒。
所以Meta的Llama也好，阿里通義千問的Qwen也好，復(fù)興傳統(tǒng)，重新證明科技互聯(lián)網(wǎng)領(lǐng)域不變的精神和內(nèi)核。
這種精神和內(nèi)核，在通義千問這里，也擁有不言自明的可持續(xù)飛輪。
阿里巴巴董事長蔡崇信已經(jīng)對外分享了思考，在全球云計(jì)算和AI的第一梯隊(duì)中，有領(lǐng)先的云業(yè)務(wù)又有自研大模型能力的，僅谷歌和阿里兩家。其他有云服務(wù)的微軟、亞馬遜，都是合作接入大模型；其他自研大模型的OpenAI、Meta，沒有領(lǐng)先的云服務(wù)。
全球唯二，中國唯一。
而在開源生態(tài)的推動中，技術(shù)迭代會更快，云計(jì)算的服務(wù)延伸會越廣，技術(shù)模型和商業(yè)模式，飛輪閉環(huán)，循環(huán)迭代，在固有基礎(chǔ)設(shè)施的基礎(chǔ)上壘起新的基礎(chǔ)設(shè)施，形成穩(wěn)固持續(xù)的競爭力。
但開源大模型，最大的價值和意義依然回歸開發(fā)者，只有足夠強(qiáng)大的開源大模型，AI for All、AI無處不在才不會成為紙上空談。
所以通義千問Qwen2，此時此刻，登頂?shù)氖侨蜷_源性能最高峰，引領(lǐng)的是開源對閉源的超越階段，象征著中國大模型在新AI時代中的競爭力。
但更值得期待的價值是通過開源大模型，讓天下沒有難開發(fā)的AI應(yīng)用、讓天下沒有難落地的AI方案。完整兌現(xiàn)AI價值，讓新一輪AI復(fù)興，持續(xù)繁榮，真正改變經(jīng)濟(jì)和社會。
參考鏈接：
https://qwenlm.github.io/zh/blog/qwen2/。
