語言模型是一種人工智能技術(shù)，可以根據(jù)給定的文本生成自然語言。OpenAI 的 GPT 系列語言模型是目前最先進(jìn)的代表之一，但I(xiàn)T之家注意到它們也有一個問題：它們的行為很難理解和預(yù)測。為了讓語言模型更透明和可信，OpenAI 正在開發(fā)一種新工具，可以自動識別語言模型中哪些部分對其行為負(fù)責(zé)，并用自然語言進(jìn)行解釋。

這個工具的原理是利用另一個語言模型（也就是 OpenAI 最新的 GPT-4）來分析其他語言模型（比如 OpenAI 自己的 GPT-2）的內(nèi)部結(jié)構(gòu)。語言模型由許多“神經(jīng)元”組成，每個神經(jīng)元都可以觀察文本中的某種特定模式，并影響模型下一步的輸出。例如，給定一個關(guān)于超級英雄的問題（比如“哪些超級英雄有最有用的超能力？”），一個“漫威超級英雄神經(jīng)元”可能會提高模型提到漫威電影中特定超級英雄的概率。

OpenAI 的工具就是利用這種機(jī)制來分解模型的各個部分。首先，它會將文本序列輸入到被評估的模型中，并等待某個神經(jīng)元頻繁地“激活”。然后，它會將這些高度活躍的神經(jīng)元“展示”給 GPT-4，并讓 GPT-4 生成一個解釋。為了確定解釋的準(zhǔn)確性，它會提供給 GPT-4 一些文本序列，并讓它預(yù)測或模擬神經(jīng)元的行為。然后它會將模擬的神經(jīng)元的行為與實(shí)際神經(jīng)元的行為進(jìn)行比較。

“通過這種方法，我們基本上可以為每個神經(jīng)元生成一些初步的自然語言解釋，并且還有一個分?jǐn)?shù)來衡量這些解釋與實(shí)際行為的匹配程度。” OpenAI 可擴(kuò)展對齊團(tuán)隊負(fù)責(zé)人 Jeff Wu 說，“我們使用 GPT-4 作為過程的一部分，來生成對神經(jīng)元在尋找什么的解釋，并評估這些解釋與它實(shí)際做什么的匹配程度。”

研究人員能夠為 GPT-2 中所有 307,200 個神經(jīng)元生成解釋，并將它們編譯成一個數(shù)據(jù)集，與工具代碼一起在 GitHub 上以開源形式發(fā)布。像這樣的工具有朝一日可能被用來改善語言模型的性能，比如減少偏見或有害言論。但他們也承認(rèn)，在真正有用之前，還有很長的路要走。該工具對大約 1000 個神經(jīng)元的解釋很有信心，這只是總數(shù)的一小部分。

有人可能會認(rèn)為，這個工具實(shí)際上是 GPT-4 的廣告，因為它需要 GPT-4 才能運(yùn)行。但 Wu 說，這并不是這個工具的目的，它使用 GPT-4 只是“偶然”的，而且，相反它顯示了 GPT-4 在這方面的弱點(diǎn)。他還說，它并不是為了商業(yè)應(yīng)用而創(chuàng)建的，并且理論上可以適應(yīng)除了 GPT-4 之外的其他語言模型。

“大多數(shù)解釋的分?jǐn)?shù)都很低，或者沒有解釋太多實(shí)際神經(jīng)元的行為。” Wu 說，“很多神經(jīng)元的活動方式很難說清楚 —— 比如它們在五六種不同的東西上激活，但沒有明顯的模式。有時候有明顯的模式，但 GPT-4 卻無法找到。”

更不用說更復(fù)雜、更新、更大的模型，或者可以瀏覽網(wǎng)頁獲取信息的模型了。但對于后者，Wu 認(rèn)為，瀏覽網(wǎng)頁不會太改變工具的基本機(jī)制。他說，它只需要稍微調(diào)整一下，就可以弄清楚神經(jīng)元為什么決定進(jìn)行某些搜索引擎查詢或訪問特定網(wǎng)站。

“我們希望這將開辟一個有前途的途徑，來以一種自動化的方式解決可解釋性問題，讓其他人可以建立在上面并做出貢獻(xiàn)。” Wu 說，“我們希望我們真的能夠?qū)@些模型的行為有好的解釋。”