《連線》曾在一篇報道中將 Alec Radford 在 OpenAI 扮演的角色，比作 Larry Page 發(fā)明 PageRank。PageRank 徹底革新了互聯(lián)網(wǎng)搜索方式，Radford 的工作（特別是在 Transformer 和后來的 GPT 方面的研究）從根本上改變了 AI 語言模型的工作方式。

幾天前，OpenAI 宣布組織結(jié)構(gòu)調(diào)整，裂變成了一家營利性公司和一個非營利組織。與此同時，OpenAI CEO 山姆?奧特曼在 X 上用一個系列推文感謝了 OpenAI 的多位元老。

之后，他又單獨發(fā)了一條推文對一位「愛因斯坦級別的天才」表達了特別感謝：Alec Radford。奧特曼還表示 Radford 是他一直以來最喜歡的人，并指出 AI 領(lǐng)域當今的進步很多都可以追溯到他的研究成果。上個月 20 號，傳出了 Radford 即將離開 OpenAI 進行獨立研究的消息，詳情可參閱機器之心的報道《剛剛，OpenAI 元老級研究員 Alec Radford 離職，他主導(dǎo)了 GPT-1、GPT-2 的研發(fā)》。

根據(jù)谷歌學(xué)術(shù)的數(shù)據(jù)，Alec Radford 論文的引用量現(xiàn)在已經(jīng)超過了 19 萬，并擁有多篇超過 1 萬引用的重要論文。

事實上，早在一年多以前，就已經(jīng)有人指出了這位當時還聲名不顯的研究者的巨大貢獻：他是 GPT 原始論文等多篇奠基性研究成果的第一作者！而更讓人驚訝的是，他并沒有博士學(xué)位，也沒有碩士學(xué)位；并且他的許多研究成果最早都是在 Jupyter Notebook 中完成的。

新年伊始，Alec Radford 的故事又再一次火遍了 AI 社交網(wǎng)絡(luò)。人們在談到他時莫不稱頌。

下面我們就來簡單了解下這位謙遜的天才的人生故事吧。

Alec Radford 的人生故事

Alec Radford 是自然語言處理和計算機視覺領(lǐng)域的研究者。曾在 OpenAI 擔任機器學(xué)習(xí)開發(fā)者 / 研究員。在此之前，他曾擔任 indico 公司的研究主管。

在 OpenAI 擔任研究員期間，他參與撰寫了多篇關(guān)于語言模型生成式預(yù)訓(xùn)練（GPT）的論文，并在 NeurIPS、ICLR、ICML 和 Nature 等著名會議和期刊上發(fā)表過許多論文。 

他也曾活躍在 X/Twitter 上，在那里分享他對人工智能各個領(lǐng)域的見解和觀點。遺憾的是，2021 年 5 月之后他就再未在 X 上現(xiàn)身，最后一條推文是在回復(fù) Anthropic 的研究者 Simon Kornblith，解釋 GPT-1 層寬度設(shè)置為 768 的原因。

LinkedIn 顯示，2011 年 - 2016 年， Alec Radford 就讀于富蘭克林?W?奧林工程學(xué)院，并獲得學(xué)士學(xué)位。這是一所位于美國馬薩諸塞州尼達姆（Needham）的私立工程學(xué)院，以其非常低的錄取率和精英化教育著稱。

該校的課程結(jié)構(gòu)非常獨特，其學(xué)術(shù)體系「歐林三角」包括科學(xué)和工程基礎(chǔ)、創(chuàng)業(yè)以及文學(xué)。學(xué)校也僅提供四種學(xué)位：ME（機械工程）、ECE（電子與計算機工程）、CS（計算機科學(xué)）、BCE（生物醫(yī)藥工程）。

奧林工程學(xué)院非常重視實用教育，將知識和實際生活中的挑戰(zhàn)和課題聯(lián)系起來，鼓勵學(xué)生追求自己的興趣和激情。

本科時期，Alec Radford 就對機器學(xué)習(xí)充滿熱情，并與同學(xué)一起參加 Kaggle 比賽獲得了成功，最終拿到風(fēng)投 。2013 年，Alec Radford 和伙伴在宿舍創(chuàng)立了 indico ，為企業(yè)提供機器學(xué)習(xí)解決方案。

作為公司的研究主管，Alec Radford 主要從事識別、開發(fā)和改進有前景的圖像和文本機器學(xué)習(xí)技術(shù)，并將其從研究階段轉(zhuǎn)化為更廣泛的行業(yè)應(yīng)用。

在那里，他進行了生成對抗網(wǎng)絡(luò)（GAN）相關(guān)研究，并提出 DCGAN 以改善 GAN 的可訓(xùn)練性，這也是 GAN 領(lǐng)域的一個重要突破。 

由于波士頓地區(qū)在 AI 領(lǐng)域的影響力已被西海岸科技巨頭超越，加上資源限制，2016 年，Radford 選擇加入 OpenAI 。

他形容這份新工作「類似于加入研究生課程」，有一個開放、低壓力的 AI 研究環(huán)境。

Radford 比較低調(diào)，不愿與媒體接觸。他通過郵件回應(yīng)了《連線》關(guān)于他在 OpenAI 早期工作的提問。他表示，最感興趣的是讓神經(jīng)網(wǎng)絡(luò)與人類進行清晰的對話。

他認為，當時的聊天機器人（從 ELIZA 到 Siri 和 Alexa）都存在局限性。他的目標是探索語言模型在各種任務(wù)、設(shè)置、領(lǐng)域和場景中的應(yīng)用可能。

他的第一個實驗是使用 20 億條 Reddit 評論來訓(xùn)練語言模型，雖然失敗，但 OpenAI 給予了足夠的試錯空間，也成為后續(xù)一系列革命性突破的開始，如大家熟知的初代 GPT，還主導(dǎo)了 GPT-2 的研發(fā)等。

這些工作為現(xiàn)代大語言模型奠定了重要基礎(chǔ)，以致于《連線》在一篇報道中將 Alec Radford 在 OpenAI 扮演的角色，比作 Larry Page 發(fā)明 PageRank。有趣的是， PageRank 雖然是 Larry Page 在斯坦福攻讀博士期間的產(chǎn)物，但他此后再也沒有回去完成博士學(xué)位。

不僅如此，Alec Radford 還參與了 GPT-3 論文的撰寫、以及 GPT-4 的預(yù)訓(xùn)練數(shù)據(jù)和架構(gòu)研究工作。

2024 年年末，在 OpenAI 賺盡眼球的 12 天連發(fā)的最后一天前，Alec Radford 即將離開 OpenAI 的消息傳出，但沒有任何消息透露這是否與 OpenAI 的組織結(jié)構(gòu)調(diào)整有關(guān)。

遺憾的是，對于他之后的職業(yè)計劃，我們所知的僅僅是他將成為一位獨立研究者。或許他將進入大學(xué)獲得一個博士學(xué)位，也或許他會在沉寂一段時間之后帶著新的震撼性研究成果問世。

不管怎樣，Alec Radford 參與創(chuàng)造的未來正在到來。無論今年是否會如奧特曼曾經(jīng)預(yù)測的那樣實現(xiàn) AGI，2025 年注定會是 AI 領(lǐng)域至關(guān)重要的一年。