今天給大家分享一篇?jiǎng)偝鰻t的大模型研究——《KnowRL: Exploring Knowledgeable Reinforcement Learning for Factuality》。這篇論文提出的"知識(shí)邊界學(xué)習(xí)"機(jī)制解決了一個(gè)特別棘手的問(wèn)題：為什么模型參數(shù)越大反而越容易一本正經(jīng)地胡說(shuō)八道？論文PDF可以直接戳這里下載： https://arxiv.org/abs/2506.19807v3

為什么大模型會(huì)陷入"推理-幻覺(jué)"兩難？

我們先來(lái)看個(gè)反常現(xiàn)象：當(dāng)用GSM8K數(shù)學(xué)題測(cè)試不同規(guī)模的LLaMA模型時(shí)，隨著參數(shù)從7B擴(kuò)大到70B，模型的幻覺(jué)率（編造錯(cuò)誤答案）竟然從18%飆升到34%！這就像讓博士生做小學(xué)數(shù)學(xué)題，反而比本科生錯(cuò)得更離譜——這就是論文里說(shuō)的"模型縮放困境"。

圖2：模型縮放困境

這張圖（圖2）清晰展示了這個(gè)矛盾：藍(lán)色線是推理能力（解題正確率），橙色線是幻覺(jué)率（錯(cuò)誤答案占比）。傳統(tǒng)SFT（監(jiān)督微調(diào)）方法下，兩者就像蹺蹺板——推理能力上去了，幻覺(jué)率也跟著漲。更麻煩的是人類反饋強(qiáng)化學(xué)習(xí)（RLHF），雖然能稍微壓低幻覺(jué)率，但推理能力卻掉得厲害，就像為了不犯錯(cuò)干脆放棄思考。

為什么會(huì)這樣？論文指出核心問(wèn)題在獎(jiǎng)勵(lì)機(jī)制（參見(jiàn)2.1節(jié)問(wèn)題分析）。現(xiàn)在的RLHF只會(huì)說(shuō)"這個(gè)答案好/不好"，但不會(huì)告訴模型"你錯(cuò)在哪里"、"哪些知識(shí)你其實(shí)不知道"。就像老師批改作業(yè)只打勾叉，不給錯(cuò)題解析，學(xué)生要么瞎猜要么不敢寫(xiě)。

KnowRL架構(gòu)：給模型裝個(gè)"知識(shí)邊界探測(cè)器"

針對(duì)這個(gè)痛點(diǎn)，論文提出的KnowRL架構(gòu)做了個(gè)特別巧妙的設(shè)計(jì)——在傳統(tǒng)RLHF基礎(chǔ)上增加了一個(gè)"知識(shí)邊界分類器"。我們可以把它理解成給模型配了個(gè)"誠(chéng)實(shí)度儀表盤(pán)"，讓模型知道自己什么時(shí)候在"已知區(qū)"，什么時(shí)候在"未知區(qū)"。

圖1：KnowRL架構(gòu)對(duì)比

對(duì)比圖1的傳統(tǒng)RLHF（左）和KnowRL（右），最關(guān)鍵的區(qū)別是多了條紫色的知識(shí)邊界評(píng)估路徑。具體來(lái)說(shuō)分三步：

• 雙軌獎(jiǎng)勵(lì)機(jī)制：不僅評(píng)估答案質(zhì)量（R_quality），還評(píng)估知識(shí)可靠性（R_boundary）。公式里用了加權(quán)求和：簡(jiǎn)單說(shuō)就是"既要答對(duì)，又要知道自己怎么答對(duì)的"。

• 動(dòng)態(tài)邊界學(xué)習(xí)：分類器會(huì)分析模型生成時(shí)的注意力分布（參見(jiàn)3.2節(jié)訓(xùn)練細(xì)節(jié)）。比如解數(shù)學(xué)題時(shí)，如果模型在關(guān)鍵步驟的注意力熵值超過(guò)閾值，就會(huì)觸發(fā)"知識(shí)邊界警報(bào)"——這時(shí)候與其硬編答案，不如輸出"這個(gè)問(wèn)題我需要更多信息"。
• 拒絕生成策略：當(dāng)邊界分類器判定"當(dāng)前知識(shí)不足以回答"時(shí)，模型會(huì)主動(dòng)拒絕生成（類似人類說(shuō)"這個(gè)我不確定"）。但這個(gè)拒絕不是擺爛，而是通過(guò)專門(mén)的拒絕獎(jiǎng)勵(lì)訓(xùn)練，讓模型只在真正無(wú)知時(shí)拒絕。 我覺(jué)得這個(gè)設(shè)計(jì)最妙的是把"不知道"也變成一種可學(xué)習(xí)的能力。就像優(yōu)秀學(xué)生不僅會(huì)做題，還清楚知道自己的知識(shí)盲區(qū)——這種元認(rèn)知能力，正是現(xiàn)在大模型最缺的。

實(shí)驗(yàn)結(jié)果：推理能力提升19%，幻覺(jué)率下降42%

論文在五個(gè)數(shù)據(jù)集上做了對(duì)比實(shí)驗(yàn)，我們重點(diǎn)看表2的核心結(jié)果。測(cè)試用的是13B參數(shù)的LLaMA-2模型，對(duì)比了SFT（監(jiān)督微調(diào)）、DPO（直接偏好優(yōu)化）和KnowRL三種方法：

表2：主要實(shí)驗(yàn)結(jié)果

這組數(shù)據(jù)太有說(shuō)服力了！KnowRL做到了"三高"：

• 推理正確率最高：比SFT提升2.9%，比DPO提升8.7%
• 幻覺(jué)率最低：比SFT降低42%，比DPO還低5.5%
• 拒絕率適中：11.6%的拒絕率遠(yuǎn)低于DPO的19.3%（不會(huì)過(guò)度保守） 更有意思的是消融實(shí)驗(yàn)（表3），當(dāng)我們?nèi)サ糁R(shí)邊界分類器（KnowRL w/o Boundary），幻覺(jué)率立刻從17.2%彈回到25.8%；去掉動(dòng)態(tài)拒絕機(jī)制（KnowRL w/o Rejection），拒絕率暴跌到3.1%但幻覺(jué)率又上去了。這證明兩個(gè)模塊缺一不可，就像剎車和油門(mén)要配合著用。

圖3：錯(cuò)誤類型分析

圖3進(jìn)一步拆解了錯(cuò)誤類型：KnowRL在"事實(shí)錯(cuò)誤"（Factual Error）和"邏輯矛盾"（Logical Contradiction）這兩類硬傷上改善最明顯，分別降低了47%和39%。這說(shuō)明模型確實(shí)學(xué)會(huì)了辨別"哪些知識(shí)我能確定"，而不是像以前那樣靠概率瞎蒙。

個(gè)人思考：跨語(yǔ)言場(chǎng)景的潛力與局限

看完實(shí)驗(yàn)部分，我特別好奇這個(gè)架構(gòu)在低資源語(yǔ)言上的表現(xiàn)。論文只測(cè)試了英語(yǔ)和中文（參見(jiàn)4.4節(jié)跨語(yǔ)言實(shí)驗(yàn)），在烏爾都語(yǔ)、斯瓦希里語(yǔ)這類數(shù)據(jù)稀缺的語(yǔ)言上，知識(shí)邊界分類器會(huì)不會(huì)因?yàn)橛?xùn)練數(shù)據(jù)不足而失效？

不過(guò)反過(guò)來(lái)想，這種"承認(rèn)無(wú)知"的機(jī)制或許對(duì)小語(yǔ)種更有價(jià)值。比如在醫(yī)療診斷場(chǎng)景，一個(gè)能說(shuō)"這個(gè)癥狀我不確定"的模型，比一個(gè)自信滿滿誤診的模型要安全得多。后續(xù)研究或許可以試試用多語(yǔ)言對(duì)比數(shù)據(jù)訓(xùn)練邊界分類器，看看能不能讓模型學(xué)會(huì)"在任何語(yǔ)言下都誠(chéng)實(shí)"。

當(dāng)然KnowRL也有局限：訓(xùn)練成本比傳統(tǒng)RLHF高30%（參見(jiàn)5.1節(jié)計(jì)算開(kāi)銷），因?yàn)橐瑫r(shí)優(yōu)化生成器和分類器。但考慮到幻覺(jué)率降低帶來(lái)的安全收益，這個(gè)成本我覺(jué)得是值得的。畢竟對(duì)企業(yè)來(lái)說(shuō)，一個(gè)偶爾說(shuō)"我不知道"的AI，遠(yuǎn)比一個(gè)編造數(shù)據(jù)的AI風(fēng)險(xiǎn)低得多。

最后想說(shuō)，這篇論文最打動(dòng)我的是它提出了一個(gè)更深層的問(wèn)題：AI的"智能"到底應(yīng)該如何定義？是無(wú)所不能的答題機(jī)器，還是知道自己能力邊界的誠(chéng)實(shí)思考者？在這個(gè)追求AGI的時(shí)代，KnowRL給出的答案或許更接近我們真正需要的AI——不是全知全能，但求誠(chéng)實(shí)可靠。