DeepSeek-R1 + RooCline：極佳的強(qiáng)化學(xué)習(xí)AI編碼代理！對標(biāo)o1、蒸餾小模型本地部署
Hi，這里是Aitrainee，歡迎閱讀本期新文章。
Deepseek R1正式發(fā)布。不是之前的Light版本，而是完整的R1。
性能與o1相當(dāng)，還采用MIT開源協(xié)議，可以商用。現(xiàn)在能在Deepseek chat平臺(tái)用，也提供API。
模型分兩個(gè)版本：主力R1，和面向研究的R1-Zero。
R1-Zero沒有監(jiān)督微調(diào)，直接RL，是一個(gè)未經(jīng)過對話偏好對齊監(jiān)督微調(diào)的版本，專門為研究人員或希望自行微調(diào)模型的人提供。
正式發(fā)布的R1還是用了SFT階段。
R1是671B參數(shù)的大模型，激活參數(shù)只有37B，基于Deepseek V3訓(xùn)練。特別強(qiáng)化了思維鏈和推理能力。
現(xiàn)在Cline或者Roocline中可以直接使用R1了。API獲取：???https://platform.deepseek.com/usage??
在Roocline中這樣設(shè)置：
Roocline是什么？看這里：
??全新免費(fèi)的 RooCline 超越了Cline v3.1 ？！更快、更智能、更出色的Cline分叉！（自主AI編程、0門檻）??
作為測試，我們用前面寫過一篇文章《??從0到1用AI做了個(gè)AI服務(wù)網(wǎng)站, 全程沒寫一行代碼??》，把開頭的那個(gè)三合一提示詞扔給他：
讓他創(chuàng)建一個(gè)Saas網(wǎng)站原型。那么提示詞比較長，可以通過上面這篇文章獲得。
挺不錯(cuò)的，Saas框架、前后端、登陸注冊、生圖都還可以。
其次，這是它在Cline中速度、消耗表：
youtube@WorldofAI
Deepseek官網(wǎng)直接Chat使用：
此外，還有6個(gè)蒸餾小模型：Qwen 1.5B、7B，Llama 8B，Qwen 14B、32B，還有Llama 系列。
這些微調(diào)模型使用由DeepSeek-R1生成的樣本進(jìn)行訓(xùn)練，這大大降低了思考模型的構(gòu)建門檻。
這個(gè)操作很暖心，讓不同需求的用戶都能用上，從筆記本到服務(wù)器，都能找到合適的版本。
測試結(jié)果超出預(yù)期，最強(qiáng)的是Llama-70B。GPQA Diamond 65.2，比Claude 3.5還高。編程上，LiveCodeBench 57.5，CodeForces 1633，幾乎能和o1-mini比肩。
Ollama已經(jīng)可以部署了，很快也能用VLLM本地運(yùn)行。
R1價(jià)格很友好。API收費(fèi)：輸入每百萬token 0.14美元（緩存命中），0.55美元（緩存未命中），輸出2.19美元。對比o1：輸入15美元，輸出60美元。
再說完全靠強(qiáng)化學(xué)習(xí)，不需要監(jiān)督微調(diào)這一條：
用硬編碼規(guī)則計(jì)算獎(jiǎng)勵(lì)，而非使用學(xué)習(xí)型的獎(jiǎng)勵(lì)模型。學(xué)習(xí)型獎(jiǎng)勵(lì)模型可能會(huì)被強(qiáng)化學(xué)習(xí)策略“利用”或“作弊”，導(dǎo)致優(yōu)化的結(jié)果偏離預(yù)期目標(biāo)。就像AlphaZero，從零開始學(xué)習(xí)，不靠模仿人類。
訓(xùn)練過程中有意思的發(fā)現(xiàn)：模型的思考時(shí)間會(huì)自然增長，這不是預(yù)設(shè)的，是自發(fā)形成的。模型逐漸學(xué)會(huì)為復(fù)雜問題花費(fèi)更多時(shí)間進(jìn)行思考，體現(xiàn)出類似于“自我反思”和“探索行為”的能力。
這是高級(jí)智能行為的一種表現(xiàn)，表明模型具備了更深層次的推理能力。這種未被明確編碼的能力，屬于智能的“涌現(xiàn)特性”（emergent behavior）。
他們發(fā)明的GRPO比PPO更簡單：去掉critic網(wǎng)絡(luò)，用多個(gè)樣本的平均獎(jiǎng)勵(lì)代替，簡化了內(nèi)存使用。這個(gè)方法，是他們2024年2月才提出的。
DeepSeek-R1-Zero的測試結(jié)果很有意思。
只靠強(qiáng)化學(xué)習(xí)，在AIME 2024上得到71.0分，MATH-500達(dá)到95.9分。雖然比o1-0912略低，但差距并不大。
特別是在MATH-500上，R1-Zero的95.9分超過了o1-mini的90.0分。這說明純RL訓(xùn)練的模型，也能掌握復(fù)雜的數(shù)學(xué)推理。
LiveCode Bench上得到73.3分，比o1-mini的60.0分高出不少。
這個(gè)結(jié)果很重要：它證明了，不需要大量標(biāo)注數(shù)據(jù)，單靠強(qiáng)化學(xué)習(xí)，AI也能學(xué)會(huì)思考和推理。這可能會(huì)改變我們訓(xùn)練AI的方式。
R1，僅用幾個(gè)月就達(dá)到了閉源大廠的水平，還提供了更實(shí)惠的價(jià)格。
最后，據(jù)官方所述，DeepSeek-R1還有幾個(gè)地方需要提升，他們將繼續(xù)努力：
通用能力上，函數(shù)調(diào)用、多輪對話、角色扮演和JSON輸出，都不如V3版本。團(tuán)隊(duì)打算用長鏈推理來改進(jìn)。
語言處理有點(diǎn)意思。現(xiàn)在主要針對中英文優(yōu)化，其他語言容易混雜。比如用德語問，它可能用英語想，再用德語答。
提示詞很敏感。少樣本提示反而會(huì)影響性能，建議直接描述問題和輸出格式，效果更好。
軟件工程任務(wù)上，評估太慢影響了RL訓(xùn)練。計(jì)劃用拒絕采樣或異步評估來提速。
本文轉(zhuǎn)載自 ??AI進(jìn)修生??，作者： Aitrainee
