前些天，OpenAI 少見地 Open 了一回，發(fā)布了兩個(gè)推理模型 gpt-oss-120b 和 gpt-oss-20b。

但是，這兩個(gè)模型都是推理模型，OpenAI 并未發(fā)布未經(jīng)強(qiáng)化學(xué)習(xí)的預(yù)訓(xùn)練版本 gpt-oss 基礎(chǔ)模型。然而，發(fā)布非推理的基礎(chǔ)模型一直都是 AI 開源 / 開放權(quán)重社區(qū)的常見做法，DeepSeek、Qwen 和 Mistral 等知名開放模型皆如此。

近日，Cornell Tech 博士生、Meta 研究員 Jack Morris 決定自己動(dòng)手填補(bǔ)這一空白。

他昨天在 ?? 上表示已經(jīng)搞清楚了如何撤銷 gpt-oss 模型的強(qiáng)化學(xué)習(xí)，讓其回退成基礎(chǔ)模型。他還宣布將在今天發(fā)布他得到的基礎(chǔ)模型。

就在剛剛，他兌現(xiàn)了自己的承諾，發(fā)布了 gpt-oss-20b-base。

模型地址：https://huggingface.co/jxm/gpt-oss-20b-base

該模型一發(fā)布就獲得了大量好評(píng)。

據(jù)介紹，該模型基于 gpt-oss-20b 混合專家模型 —— 使用低秩適應(yīng)（LoRA）將其微調(diào)成了一個(gè)基礎(chǔ)模型。

不同于 OpenAI 發(fā)布的 gpt-oss 模型，gpt-oss-20b-base 是基礎(chǔ)模型，可用于生成任意文本。也就是說，從效果上看，Morris 逆轉(zhuǎn)了 gpt-oss-20b 訓(xùn)練過程中的對(duì)齊階段，使得到的模型可以再次生成看起來自然的文本。如下對(duì)比所示。

但也必須指出，正是因?yàn)?gpt-oss-20b 的對(duì)齊階段被逆轉(zhuǎn)了，因此這個(gè)模型已經(jīng)不再對(duì)齊。也就是說，gpt-oss-20b-base 不僅會(huì)毫無顧忌地說臟話，也能幫助策劃非法活動(dòng)，所以使用要慎重。

研究者還測試了 gpt-oss-20b-base 的記憶能力。他表示：「我們可以使用來自有版權(quán)材料的字符串提示模型，并檢查它的輸出，這樣就能輕松測試 gpt-oss 的記憶能力?！菇Y(jié)果，他發(fā)現(xiàn) gpt-oss 記得 6 本被測書籍中的 3 本。他說：「gpt-oss 絕對(duì)看過《哈利?波特》?！?/span>

gpt-oss-20b-base 的誕生之路

Jack Morris 也在 ?? 上分享了自己從靈感到煉成 gpt-oss-20b-base 的經(jīng)歷。

他介紹說自己此前使用的方法是「越獄（jailbreaking）」，但這個(gè)思路是錯(cuò)誤的。于是，他想尋找一個(gè)可以誘使模型變回基礎(chǔ)模型的提示詞 —— 但這很難。

在與 OpenAI 聯(lián)合創(chuàng)始人、前 Anthropic 研究者、Thinking Machines 聯(lián)合創(chuàng)始人兼首席科學(xué)家 John Schulman 一番交流之后，他得到了一個(gè)好建議：為什么不將這種「對(duì)齊逆轉(zhuǎn)」定義為優(yōu)化？

也就是說「可以使用網(wǎng)絡(luò)文本的一個(gè)子集來搜索最小可能的模型更新，使 gpt-oss 表現(xiàn)為基礎(chǔ)模型」。

這涉及到兩個(gè)原理。

原理 1. 低秩性（Low-rankedness）

普遍的觀點(diǎn)是，預(yù)訓(xùn)練是將所有信息存儲(chǔ)在模型權(quán)重中，而對(duì)齊 / 強(qiáng)化學(xué)習(xí)只是將輸出分布集中在有利于對(duì)話（和推理）的非常狹窄的輸出子集上。如果這是真的，那么 gpt-oss 模型與其原始預(yù)訓(xùn)練模型權(quán)重相比，其實(shí)只進(jìn)行了少量更新。

也就是說：在預(yù)訓(xùn)練方向上存在一些足夠低秩的更新，而這些更新就可以「逆轉(zhuǎn)」后訓(xùn)練過程。

原理 2：數(shù)據(jù)不可知性（Data Agnosticism）

此外，需要明確，Morris 想要的是恢復(fù)原始模型的能力，而不是繼續(xù)對(duì)其進(jìn)行預(yù)訓(xùn)練。這里并不想要模型學(xué)習(xí)任何新內(nèi)容，而是希望它重新具備自由的文本生成能力。

所以，只要數(shù)據(jù)與典型的預(yù)訓(xùn)練類似，使用什么數(shù)據(jù)都沒關(guān)系。Morris 表示選擇 FineWeb 的原因是它的開放度相對(duì)較高，加上他已經(jīng)下載了。他表示只使用了大約 20,000 份文檔。

因此實(shí)際上講，他的做法就是將一個(gè)非常小的低秩 LoRA 應(yīng)用于少數(shù)幾個(gè)線性層，并使用 <bos> ... 形式的數(shù)據(jù)進(jìn)行訓(xùn)練，就像典型的預(yù)訓(xùn)練一樣。

具體技術(shù)上，Morris 表示，gpt-oss-20b-base 是原始 gpt-oss-20b 模型的 LoRA 微調(diào)版本。為了確保盡可能低的秩，他僅對(duì)第 7、15 和 23 層的 MLP 層進(jìn)行了微調(diào)。至于 LoRA，他使用了 16 的秩，因此總共有 60,162,048 個(gè)可訓(xùn)練參數(shù)，占原始模型 20,974,919,232 個(gè)參數(shù)的 0.3%。他已將所有參數(shù)合并回去，因此用戶可以將此模型視為完全微調(diào)的模型 —— 這使得它在大多數(shù)用例中都更有用。

該模型以 2e-6 的學(xué)習(xí)率和 16 的批次大小在 FineWeb 數(shù)據(jù)集中的樣本上進(jìn)行了 1500 步微調(diào)。其最大序列長度為 8192。

那么，正如前 OpenAI 政策研究者 Miles Brundage 問道的那樣：「有什么證據(jù)表明這是在掘出下面的基礎(chǔ)模型，而不是教導(dǎo)一個(gè)已經(jīng)蒸餾過的 / 無基礎(chǔ)的模型像基礎(chǔ)模型一樣運(yùn)作？」

Morris 解釋說：「理論上講，因?yàn)檫@個(gè)更新的秩很低。而從實(shí)踐上看，是因?yàn)樯山Y(jié)果與訓(xùn)練數(shù)據(jù)無關(guān)。例如，我沒有訓(xùn)練模型輸出《哈利?波特》，但它卻不知怎的知道其內(nèi)容。」

未來，Morris 表示還會(huì)更徹底地檢查 gpt-oss-20b-base 記憶的內(nèi)容，并會(huì)試試逆轉(zhuǎn) gpt-oss-120b，另外他還將嘗試指令微調(diào)以及與 GPT-2 和 GPT-3 進(jìn)行比較。

對(duì)于該項(xiàng)目你怎么看？會(huì)嘗試這個(gè)模型嗎？