突發(fā)！DeepSeek開源新版V3，再次震驚國外
昨晚，國內(nèi)著名大模型平臺DeepSeek開源了V3模型的最新版本0324。
不過DeepSeek相當?shù)驼{(diào)，國內(nèi)的公眾號、國外的社交平臺沒有做任何宣傳，就是“悄悄”地把模型上傳到huggingface。
根據(jù)國外網(wǎng)友測試顯示，V3-0324最大亮點之一就是代碼能力，只需要簡單的文本提示就能快速開發(fā)各種網(wǎng)站、App，可以比肩目前全球最強的閉源代碼模型Claude 3.7 Sonnet思維鏈版本。
但V3-0324是開源且免費的，推理效率更快。
開源地址：https://huggingface.co/deepseek-ai/DeepSeek-V3-0324/tree/main
有網(wǎng)友表示，新版V3 在不到 60 秒的時間內(nèi)解開了一道密碼謎題。Sonnet 3.7 花了大約 5 分鐘卻未能解開。
這就是為什么我不介意中國領(lǐng)先。他們有人力資源，這個巨人已經(jīng)覺醒，我們將從中獲得更好的科技成果。
有網(wǎng)友分析，認為這很可能是去年年底發(fā)布的 DeepSeek V3 的一次迭代更新，就像 OpenAI 一直在更新他們的模型一樣，而沒有真正增加模型的編號（我不知道我們已經(jīng)見過多少個 gpt-4 的迭代版本）。
DeepSeek V3 實際上比 R1 更適合許多創(chuàng)意寫作任務(wù)，因為它更快。速度很重要，因為你可以更快速地進行多次迭代。幻覺和準確性不足并不是大問題，因為人類應(yīng)該編輯和批準文本。
DeepSeek的影響凸顯了一個重要的技術(shù)轉(zhuǎn)變。
還有人立刻對V3-0324進行了評測，一次性開發(fā)了一個網(wǎng)站寫了800多行代碼且沒有出現(xiàn)任何錯誤。這是免費的、開源的、超級快的。很高興看到這些開源模型如何給大公司施加壓力，促使它們以更低的成本構(gòu)建更好的模型。
新版V3 模型僅用一個提示就完成了這個登陸頁面的編碼。這個新的 DeepSeek-V3 模型在編程能力上已經(jīng)達到了和 Claude 3.7 Sonnet 相同的水平，同時還是無限制且免費的。
提示詞：用 HTML/CSS/JS 編寫一個現(xiàn)代化的登陸頁面，并將所有內(nèi)容放到一個文件中！
我讓新的 DeepSeek V3 模型構(gòu)建最美麗且復雜的動畫腳本。只用一個 HTML/JS 腳本！
該網(wǎng)友還補充道“我們正在與未來對話”，相當滿意V3的代碼能力。
V3簡單介紹
V3是一個擁有 6710 億參數(shù)的專家混合模型（Moe），其中370 億參數(shù)處于激活狀態(tài)。
在傳統(tǒng)的大模型中，通常會采用密集的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，模型需要對每一個輸入token都會被激活并參與計算，會耗費大量算力。
此外，傳統(tǒng)的混合專家模型中，不平衡的專家負載是一個很大難題。當負載不均衡時，會引發(fā)路由崩潰現(xiàn)象，這就好比交通擁堵時道路癱瘓一樣，數(shù)據(jù)在模型中的傳遞受到阻礙，導致計算效率大幅下降。
為了解決這個問題，常規(guī)的做法是依賴輔助損失來平衡負載。然而，這種方法存在一個弊端，那就是輔助損失一旦設(shè)置過大，就會對模型性能產(chǎn)生負面影響，就像為了疏通交通而設(shè)置過多限制，卻影響了整體的通行效率。
DeepSeek對V3進行了大膽創(chuàng)新，提出了輔助損失免費的負載均衡策略，引入“偏差項”。在模型訓練過程中，每個專家都被賦予了一個偏差項，它會被添加到相應(yīng)的親和力分數(shù)上，以此來決定top-K路由。
模型會持續(xù)監(jiān)測每一批訓練數(shù)據(jù)中專家的負載情況。如果某個專家負載過重，就像一座橋梁承受了過多的車輛，此時就減小其偏差項；反之，如果負載過輕，就增加偏差項。
通過這種動態(tài)調(diào)整， V3能夠在訓練過程中有效平衡專家負載，而且相比那些僅依靠純輔助損失來平衡負載的模型，它的性能得到了顯著提升。
此外，V3還采用了節(jié)點受限的路由機制，以限制通信成本。在大規(guī)模分布式訓練中，跨節(jié)點的通信開銷是一個重要的性能瓶頸。通過確保每個輸入最多只能被發(fā)送到預設(shè)數(shù)量的節(jié)點上，V3 能夠顯著減少跨節(jié)點通信的流量，從而提高訓練效率。
這種路由機制不僅減少了通信開銷，還使得模型能夠在保持高效的計算-通信重疊的同時，擴展到更多的節(jié)點和專家。
根據(jù)國外開源評測平臺kcores-llm-arena對V3-0324最新測試數(shù)據(jù)顯示，其代碼能力達到了328.3分，超過了普通版的Claude 3.7 Sonnet（322.3），可以比肩334.8分的思維鏈版本。
本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)
