GPT-oss放飛自我了？！居然出現(xiàn)了明顯的幻覺行為。

在沒有提示詞的情況下，消耗超過30000個token憑空想出一個問題，還反復(fù)求解了5000多次？！

這是個關(guān)于多米諾骨牌的編程問題，簡單來說就是：在NxM的網(wǎng)格中先放一個多米諾占掉兩個相鄰的自由格，剩下的自由格必須剛好能拼成多個2x2的方塊。

然后就開始自行暴力求解……

最近，有人好奇GPT-oss的訓(xùn)練數(shù)據(jù)構(gòu)成情況如何，所以就進(jìn)行了一系列測試。

結(jié)果發(fā)現(xiàn)了一堆GPT-oss的奇怪問題，比如還有：

• 創(chuàng)造不存在的物理學(xué)理論
• 拒絕談?wù)撋瞵嵤?/span>
• ……

這到底怎么一回事？

GPT-oss熱衷于推理，推理過程中時常伴隨語言轉(zhuǎn)換

事情是這樣的，有網(wǎng)友對GPT-oss-20b生成的1000萬個示例進(jìn)行了一些分析，結(jié)果發(fā)現(xiàn)該模型的一些行為非常古怪。

下圖是作者使用分類器分析模型掌握編程語言的情況，可以看出該模型的訓(xùn)練數(shù)據(jù)覆蓋了幾乎所有常見編程語言，其中Perl的占比尤其高。

這說明GPT-oss的訓(xùn)練數(shù)據(jù)很廣泛，然而作者據(jù)自身經(jīng)驗(yàn)提出質(zhì)疑：認(rèn)為Java和Kotlin的實(shí)際占比應(yīng)該高得多。

而這張關(guān)于模型生成內(nèi)容分布的示意圖顯示，該模型非常熱衷于數(shù)學(xué)和代碼領(lǐng)域，即使不需要任何推理，也會主動進(jìn)行推理，并且生產(chǎn)的內(nèi)容幾乎都圍繞著數(shù)學(xué)，且大多用英語表達(dá)。

并且該模型生成的內(nèi)容既不像自然網(wǎng)頁文本（如日常文章、論壇帖子等偏生活化、隨意性的文本），也不同于普通聊天機(jī)器人的交互內(nèi)容（如對話式回應(yīng)、問答互動）。

于是作者據(jù)此推斷，該模型并不是為了模擬自然語言或日常對話設(shè)計(jì)的，而是通過強(qiáng)化學(xué)習(xí)專門訓(xùn)練，目的是在特定的推理任務(wù)基準(zhǔn)上進(jìn)行思考和解題。

更有細(xì)心的網(wǎng)友發(fā)現(xiàn)下圖這種情況的出現(xiàn)可能是由于在訓(xùn)練中對特定方向清除了一大片訓(xùn)練權(quán)重。

作者基于平均頻率對token進(jìn)行采樣，并用單個token作為提示讓模型生成內(nèi)容。

這時模型會幻覺式生成多米諾骨牌的編程問題，并自發(fā)嘗試解決，單次過程就消耗了超過30000個token（相當(dāng)于數(shù)萬字的文本量）。

問題是：在NxM的網(wǎng)格中，先放置1個2格骨牌，占掉2個相鄰自由格，然后看剩下的自由格能不能剛好切成多個不重復(fù)的2x2方塊（4格），要找出所有滿足這個條件的骨牌擺法。

然后GPT-oss-20b就開始暴力求解了。

更特殊的是，在基本沒有提示的情況下，這種求解的行為重復(fù)發(fā)生了5000多次，這說明該任務(wù)可能與模型的訓(xùn)練目標(biāo)深度綁定。

這種極端重復(fù)且無提示生成的行為，反映出模型可能在訓(xùn)練中被過度優(yōu)化于特定推理任務(wù)，導(dǎo)致生成內(nèi)容缺乏自然性，更像一個被訓(xùn)練偏科的工具。

除此之外，作者還發(fā)現(xiàn)模型在推理過程中常常伴隨著語言轉(zhuǎn)換。

許多推理鏈起初以英語展開，但會逐漸演變?yōu)橐环N被稱為“Neuralese”（可理解為模型特有的、非自然語言的神經(jīng)層面表達(dá)）的狀態(tài)。

這些推理鏈會在阿拉伯語、俄語、泰語、韓語、中文和烏克蘭語等多種語言間自如切換，之后通常會轉(zhuǎn)回英語（但并非絕對）。

這一現(xiàn)象反映出模型在長文本生成或深度推理時，可能出現(xiàn)語言分布偏移，既包含自然語言間的交替，也存在向非自然語言表達(dá)的轉(zhuǎn)變。這暗示了模型可能在訓(xùn)練數(shù)據(jù)特性或模型內(nèi)部處理機(jī)制方面非常復(fù)雜。

模型輸出中還出現(xiàn)了特殊偽影（如“OCRV ROOT”）。

作者推測：這些異常符號或表述可能源于訓(xùn)練數(shù)據(jù)的處理方式—— OpenAI在訓(xùn)練過程中使用了OCR（光學(xué)字符識別）技術(shù)掃描書籍。

而OCR識別過程中可能出現(xiàn)錯誤或殘留痕跡（如“OCRV ROOT”這類可能的識別偏差），從而導(dǎo)致模型輸出中夾雜此類異常內(nèi)容。

并且作者還表示：模型總愛提馬來西亞的聾人數(shù)量。

這種看似無關(guān)聯(lián)的內(nèi)容，或許正是OCR掃描書籍時誤讀、漏讀，或訓(xùn)練數(shù)據(jù)中特定文本片段被錯誤收錄的結(jié)果，這也進(jìn)一步支撐了他“訓(xùn)練數(shù)據(jù)經(jīng)OCR處理且存在瑕疵”的猜想。

值得一提的是，在眾多異常表現(xiàn)中，模型也有少量創(chuàng)意輸出，比如為挪威劇本撰寫草稿。

并且展現(xiàn)出對unicode的熟練使用，但模型在物理領(lǐng)域的表現(xiàn)卻不盡如人意。

作者現(xiàn)已將分析使用的相關(guān)數(shù)據(jù)放在Hugging Facce上，可供感興趣人員進(jìn)行研究使用。

同時他也給出了一些分析建議：

一是對模型高度冗余的輸出進(jìn)行去重處理，以提高信息的有效性；

二是用自然語言描述不同文本分布的差異，例如對比不同規(guī)模模型（如20b與120b模型、LLAMA、GPT-5 等）的輸出情況，從而更深入地理解模型的運(yùn)行機(jī)制。

GPT-oss的幻覺率高

實(shí)際上，最近不少人都覺得GPT-oss的幻覺情況比較嚴(yán)重。

OpenAI官方公布的數(shù)據(jù)已經(jīng)顯示，GPT-oss-120b和GPT-oss-20b在基準(zhǔn)測試PersonQA中的幻覺率分別達(dá)到了49%和53%。

在實(shí)際使用和測試中，模型可能出現(xiàn)的問題包括：

GPT-oss-20b花費(fèi)了2個小時推理“生成一個水平、垂直和對角線都組成單詞的3x3字母矩陣”這個問題。就像一只被困在迷宮中的蒼蠅，無法停止推理但卻迷失了方向……

又比如GPT-oss-20b創(chuàng)造不存在的理論名稱：

請解釋“量子重力波動理論”在現(xiàn)代物理學(xué)中的應(yīng)用。

實(shí)際上并不存在這個理論，僅有“量子引力理論”或“引力波理論”。但GPT-oss-20b還一本正經(jīng)地說這是一個新興交叉學(xué)科……

還有人說在和它談?wù)撊粘Ｉ畹默嵤聲r，它偶爾會拒絕談?wù)摚械臅r候會完全崩潰——

用占位符字符刪除整個段落。這讓它在除數(shù)學(xué)或者編程外的日常任務(wù)中顯得很沒用。

emmm……不知道你在使用過程中有遇到類似問題嗎？歡迎評論區(qū)討論~

相關(guān)數(shù)據(jù)：https://huggingface.co/datasets/jxm/GPT-oss20b-samples