在社交服務（SNS）內容爆炸式增長的今天，如何讓LLM更好地理解用戶意圖、適應多語言多文化、快速響應流行趨勢？

傳統的SFT訓練方法往往陷入「顧此失彼」的困境：某一領域性能提升的代價，會犧牲模型其它領域的泛化能力。

為此，小紅書NLP團隊推出RedOne 2.0 —— 一個面向SNS場景、以RL為核心并結合輕量級SFT的社交領域大模型。值得強調的是，盡管RedOne 2.0的優化重點在各類社交任務，但其在通用評測中的表現同樣有所提升，尤其是在指令跟隨、科學推理、多語言等關鍵維度上表現突出。

先說結論：在面向社交服務的SNS-Bench上，RedOne 2.0繼續保持領先，且相比前代RedOne模型知識密度更高，領域和通用數據訓練量要求更低，整體性能更加優異。

△圖1: 不同模型在SNS領域上的性能對比

下面具體來看——

RedOne 2.0訓練框架

傳統主要依賴SFT技術的方法，面臨高成本與低泛化的雙重困境。

資源成本瓶頸：

傳統以SFT主導的方案依賴海量數據，以及解決「蹺蹺板」問題需要耗費大量精力，會顯著延長迭代周期并收縮模型適配場景，而推動有限數據下小模型性能的躍遷，對降低領域部署成本、推動長尾場景應用具有重要意義；

環境適配滯后：

SNS社區知識、內容的快速更新需要模型及時適配，而傳統方法需持續搜集大規模標注數據且訓練周期冗長，可能導致模型無法響應新興趨勢與政策變更，進而降低用戶體驗；

能力失衡風險：

過度的SFT優化易觸發「災難性遺忘」，即針對特定任務的提升會犧牲模型的泛化能力，進而影響在SNS生態中多源任務下的部署。

因此，RedOne 2.0通過以RL主導的三階段漸進式訓練方法，錨定業務和技術痛點。

在大量壓縮數據需求的前提下，實現小模型對下游任務的快速適配，并同步保障模型的通用能力，提供高性價比、強泛化的LLM部署基座。

其核心思想在于：摒棄傳統SFT主導的、以數據量堆砌效果的思路，轉而采用一種以RL為核心的「探索-微調-優化」的遞進訓練范式。

該方法通過主動探索、靶向微調和持續優化，實現模型能力在通用和SNS領域的一致提升，從根本上緩解SFT訓練導致的性能失衡，并大幅降低對數據規模的需求。

△圖2: RedOne2.0的訓練框架

具體是怎么做到的？

主動探索：

此階段的目標是利用RL的探索特性，讓模型在SNS任務空間中自主學習并暴露其能力短板，進而實現初步的領域遷移適配。

首先，將基礎模型在覆蓋全部SNS核心任務和少量通用任務的小規模指令數據集上進行RL訓練，使其初步學習領域基本規范與任務模式。

隨后，在一個包含各類SNS任務樣本的綜合性評估集上對模型性能進行量化分析，精確識別出RL探索未能有效解決的困難任務或場景。

靶向微調：

基于第一階段篩選出的困難樣本，本階段將開展精準地數據干預。

首先，針對識別到的SNS能力短板，構建相應的靶向訓練數據；

同時，混合一定比例的通用任務數據，并基于一階段模型生成多個候選response，再借助評估模型挑選出最佳response，作為維持模型已有能力的正則化項。

最后，通過混合數據對第一階段輸出的模型進行SFT，對已發現的能力缺口進行「外科手術式」的精確校準，并顯式地約束模型行為，防止后續優化中因過度偏離原數據分布而導致災難性遺忘。

持續優化：

在第二階段SFT校準的基礎上，本階段再次啟用RL進行優化，以保證性能提升的穩定和一致。

該階段以上一階段得到的結果作為起點模型，并采用相同的SNS領域任務，進行第二輪強化學習訓練。

模型在此過程中，會基于已校正的能力基礎進一步探索復雜任務間的權衡策略，深化其與平臺安全、用戶體驗等高級目標的對齊，最終得到一個行為更穩定、泛化能力更強且與SNS場景高度適配的模型。

實驗結果

在涵蓋知識推理、數學推理、代碼生成、機器翻譯、指令跟隨、幻覺檢測等通用能力的Geneal Bench，內容理解、信息檢索、情感和意圖分析、個性化推薦的SNS-Bench，以及專業領域翻譯的SNS-TransBench上，RedOne 2.0系列以較小參數展示出更好性能。

△表1: 通用能力、SNS-Bench、SNS翻譯能力對比試驗，其中Qwen3-4B和Qwen3-30B-A3B均為Instruct-2507版本

其中，RedOne 2.0-4B模型在SNS-Bench上遠遠領先于同量級開源模型，并在General-Bench也有小幅提升，同時也超越前代7B模型；

RedOne 2.0 30B-A3B模型，以極小的激活參數，可以在通用任務上的表現接近百億參數的模型。

同時RedOne2.0系列在SNS-TransBench上也達到了同尺寸模型中的頂尖水平，充分驗證了RedOne 2.0系列在通用性、領域專業性及多語言能力上的優異能力。

此外，消融實驗發現：相比不同尺寸的基座模型，RedOne 2.0在社交領域SNS-Bench和社交翻譯SNS-TransBench均有顯著的能力增強；

△表2: 訓練框架在不同基座模型上的泛化

同時，General-Bench也有一定程度的提升作用。

而且，該方案可穩定地將對齊收益從較小模型遷移至更大模型，且所有基準上均觀察到一致改進。

此外隨著基座模型規模的增大，整體性能也被進一步放大，體現了當前技術路徑優異的擴展性，能為不同算力需求與性能要求的場景，提供一套統一且可靠的部署方案。

通過不同訓練階段的消融實驗，研究團隊充分證明了RedOne 2.0所采用的「探索-微調-優化」三階段漸進式訓練策略的有效性。

△表3: 關于不同訓練階段的消融實驗

該框架以RL為先導進行探索性領域對齊，為后續優化打下堅實基礎；

進一步通過SFT拒絕采樣的方式，并針對性強化薄弱任務，實現通用能力基本維持的情況下短板性能的顯著提升；

最終再次運用RL進行全局優化，達成各項能力間的平衡。

第2和第3行所采用的是「沒有拒絕采樣」的傳統SFT方法，而第5行和第6行使用的是文本提出的方案，既有靶向任務的數據，也利用了拒絕采樣。通過對比，可以發現，傳統SFT會使得通用能力大幅下降。

這一范式成功規避了傳統以SFT為主方法的「蹺蹺板」效應，并在領域任務上顯著超越「SFT+RL」的框架，證明第一階段RL為后續通用、領域及翻譯三大基準性能提升的重要性。

研究團隊還在線上平臺開展了基于RedOne 2.0的筆記標題個性化重寫實驗，在保留原意的基礎上優化內容吸引力。

△表4: 線上實驗結果

一方面，核心業務指標增長了0.43%，在平臺當前的用戶規模下具有顯著提升。

另一方面，人工評估顯示內容質量得到全面優化：模糊標題減少11.9%，同時實用性、真實性和互動性標題比例分別提升7.1%、12.9%與25.8%。

這表明RedOne 2.0不僅能有效提升用戶體驗與社區活躍度，更能直接轉化為可衡量的商業價值。

此外，研究團隊還提供了RedOne 2.0在個性化標題生成任務上的實例研究。

△表5: RedOne 2.0和基座模型在真實案例上的差異

結果發現，相比于基線模型，RedOne 2.0生成的標題更具感染力和互動性。

例如在關于除濕器的案例1中，不同于基線模型改寫標題的平實通用，RedOne 2.0通過使用「水汽彌漫」等生動描述，顯著增強了情感共鳴。

在關于婚紗攝影的案例2中，RedOne 2.0將普通描述轉化為「逃離影樓！」這類具有質感的表達，有效激發用戶好奇心和點擊意愿。

這些實例表現了RedOne 2.0能夠有效對齊用戶偏好，創作出更具吸引力的內容。

未來與展望

未來，團隊將進一步拓展RedOne 2.0在SNS中的多模態與多語言能力，探索其在圖文交錯內容、視頻內容理解、跨文化溝通等復雜場景下的應用潛力。

同時，團隊希望將這一以強化學習為主的漸進式訓練框架推廣至金融、醫療、教育等更多垂直領域，以解決專業場景中領域適應與通用能力平衡的核心挑戰。

團隊也將持續優化訓練效率，推動輕量化模型在邊緣設備上的部署，為實現更普惠、可信、高效的人工智能服務提供堅實的技術基礎。

論文鏈接：https://arxiv.org/abs/2511.07070