ChatGPT的橫空出世萬眾矚目，但我們不應忘記在它背后默默無聞的天才。Ilya Sutskever是OpenAI的聯合創始人和首席科學家。正是在他的領導下，OpenAI在開發尖端技術和推動人工智能領域的發展方面取得了重大進展。

在這篇文章中，我們將探討二十年間，Sutskever是如何從一個年輕的研究人員一步步走到人工智能領域的領導人物之一的。無論你是人工智能愛好者，還是研究人員，或者僅僅是對這一領域的內部運作感到好奇的人，這篇文章都會提供寶貴的觀點和信息。

本文遵循以下時間線： 

2003: Ilya Sutskever的拜師之旅

2011: 初識AGI

2012: 圖像識別的革命

2013: 將DNNresearch拍賣給谷歌

2014: 語言翻譯的革命

2015: 從谷歌到OpenAI：人工智能的新篇章

2018: GPT 1、2和3

2021: 開發DALL-E 1

2022年：向世界揭開ChatGPT的面紗

Ilya Sutskever?

OpenAI的聯合創始人和首席科學家，2005年畢業于多倫多大學，2012年獲得CS博士學位。2012年至今，他曾先后就職于斯坦福大學，DNNResearch，Google Brain，從事機器學習與深度學習的相關研究，并于2015年放棄谷歌的高薪職位，與Greg Brockman等人聯合創建了OpenAI，在OpenAI主導了GPT-1，2，3以及DALLE系列模型的研發。2022年，他入選英國皇家科學學會院士。他是人工智能領域的先驅，在塑造人工智能的當前格局方面發揮了重要作用，并在繼續推動機器學習的可能性的界限。他對人工智能的熱情讓他的開創性研究熠熠生輝，也由此塑造了深度學習和機器學習領域的發展歷程。

2003:對Ilya Sutskever的初印象

Sutskever：我不理解，Hinton：為什么不理解，Sutskever：人們訓練神經網絡來解決問題，當人們想解決不同問題時，就得用另外的神經網絡重新開始訓練。但我認為人們應該有一個能夠解決所有問題的神經網絡。

在多倫多大學讀本科時，Sutskever想加入Geoffrey Hinton教授的深度學習實驗室。于是，他在某一天直接敲開了Hinton教授辦公室的門，詢問自己是否可以加入實驗室。教授讓他提前預約，但Sutskever不想再浪費時間，所以他立即問："就現在怎么樣？"

Hinton意識到Sutskever是一個敏銳的學生，于是給了他兩篇論文讓他閱讀。一周后，Sutskever回到教授辦公室，然后告訴教授他不理解。

“為什么不理解？”教授問。

Sutskever解釋說：“人們訓練神經網絡來解決問題，當人們想解決不同問題時，就得用另外的神經網絡重新開始訓練。但我認為人們應該有一個能夠解決所有問題的神經網絡。"

這段話展示了Sutskever得出結論的獨特能力，而這種能力即使是有經驗的研究人員也需要花費數年時間才能找到，Hinton于是向他發出邀請，希望他加入自己的實驗室。

2011: 初識AGI

Sutskever：我不認同這個想法（AGI）

Sutskever還在多倫多大學時，曾飛到倫敦去DeepMind找工作。在那里他見到了Demis Hassabis 和 Shane Legg（DeepMind的聯合創始人），他們正在建立AGI（Artificial General Intelligence，人工通用智能）。AGI是一種通用的人工智能，它能夠像人類一樣思考和推理，并完成與人類智能相關的各種任務，如理解自然語言，從經驗中學習，做出決定，以及解決問題。

在當時，AGI并不是嚴肅的研究人員會談論的東西。Sutskever也認為他們已經與現實脫節，所以他拒絕了這份工作，回到了大學，最終于2013年加入了谷歌。

2012: 圖像識別革命

ImageNet競賽中獲勝

Geoffrey Hinton慧眼獨具，在其他人都不相信的時候相信了深度學習。并且他堅信，在ImageNet競賽中獲得成功就會徹底解決這一爭論。

ImageNet競賽：斯坦福大學的實驗室每年都會舉辦ImageNet競賽。他們為參賽者提供了一個由精心標記的照片組成的龐大數據庫，來自世界各地的研究人員都會來參加比賽，嘗試創建一個能夠識別最多的圖像的系統。

Hinton的兩個學生，伊利亞-蘇茨克沃（Ilya Sutskever）和亞歷克斯-克里切夫斯基（Alex Krizhevsky）參加了這個比賽。他們打破了傳統的手工設計方案，采用了深度神經網絡，并突破了75%的準確率大關。因此他們贏得了ImageNet競賽，他們的系統后來被命名為AlexNet。

從那時起，圖像識別領域煥然一新。

后來，Sutskever、Krizhevsky和Hinton發表了一篇關于AlexNet的論文，這篇論文成為計算機科學領域被引用次數最多的論文之一，總共被其他研究人員引用了6萬多次。

2013: 將DNNresearch拍賣給谷歌

Sutskever&Krizhevsky：您值得更大比例的分紅。Hinton：你們分我的錢太多了。Sutskever&Krizhevsky：但我們已經決定好了，讓您占大頭。Hinton：這體現了他們的人品。

Hinton與Sutskever，Krizhevsky一起，成立了一家名為DNNresearch的新公司。他們沒有任何產品，也沒有在未來打造任何產品的計劃。

Hinton問律師，如何讓他的新公司具有最大的價值，盡管目前只有三名員工，既沒有產品，也沒有底蘊。律師給他的選擇之一是設立一個拍賣會。有四家公司參與了收購：百度、谷歌、微軟和DeepMind（當時還是一家年輕的起步于倫敦的創業公司）。第一個退出的是DeepMind，其次是微軟，最后只剩下百度和谷歌在競爭。

到某天晚上接近午夜時分，拍賣價格高達4400萬美元，Hinton于是暫停了競標并且去睡了一覺。第二天，他宣布拍賣結束，并以4400萬美元將他的公司賣給了谷歌，他認為為他的研究找到合適的“家”更重要。在這一點上，Hinton和他的學生們一樣，把他們的想法置于經濟利益之上。

平分收益的時候，Sutskever和Krizhevsky堅持認為Hinton應該得到更大的份額（40%），盡管Hinton建議他們不如先睡一覺。第二天，他們仍然堅持這種分配方式。Hinton后來評論說：“這能體現他們的為人，而非我的”。

在這之后，Sutskever成為了谷歌大腦的研究科學家，他的想法產生了更大的變化，并開始與DeepMind創始人的想法逐漸一致。他開始相信，屬于AGI的未來就在眼前。當然，Sutskever本人也從不畏懼在面對新信息或經驗時改變主意。畢竟相信AGI需要的是信仰之躍，正如謝爾蓋-萊文（Sergey Levine，Sutskever在谷歌的同事）對Sutskever的評價：“他是一個不害怕‘相信’的人。”

2014: 語言翻譯的革命

Sutskever：正確的結論是，如果你有一個非常大的數據集和一個非常龐大的神經網絡，那么取得成功是必然的。（性能最優的翻譯器）

在收購了DNNResearch之后，谷歌聘請Sutskever為谷歌大腦的研究科學家。

在谷歌工作期間，Sutskever發明了一種神經網絡的變體，能將英語翻譯成法語。他提出了 “序列到序列學習”（Sequence to Sequence Learning），它能捕捉到輸入的序列結構（如英語的句子），并將其映射到同樣具有序列結構的輸出（如法語的句子）。

他說，研究人員本不相信神經網絡可以做翻譯，所以當它們真的能翻譯時，這就是一個很大的驚喜。他的發明擊敗了表現最好的翻譯器，為谷歌翻譯提供了重大升級。語言翻譯從此變得不一樣了。

2015: 從谷歌到OpenAI：人工智能的新篇章

Sam Altman和Greg Brockman將Sutskever和其他9名研究人員聚集在一起，嘗試是否還有可能與該領域最優秀的人才組成一個研究實驗室。當討論到這個將成為OpenAI的實驗室時，Sutskever意識到他找到了一群志同道合的人，他們與他的信念和愿望相同。

Brockman向這10位研究人員發出了加入他的實驗室的邀請，并給他們三周的時間來決定。谷歌知道這件事后，向Sutskever提供了一筆可觀的金額來加入他們。被拒絕后，谷歌將他們的薪資提高到第一年近200萬美元，這是OpenAI要付給他的兩三倍。

但Sutskever還是愉快地放棄了谷歌數百萬美元的工作機會，最終成為非營利組織OpenAI的聯合創始人。

OpenAI的目標是利用人工智能造福全人類，以負責任的方式推進人工智能。

2018: 開發GPT 1, 2 & 3

Sutskever領導OpenAI發明了GPT-1，隨后發展到GPT-2、GPT-3和ChatGPT。

GPT（Generative Pre-trained Transformer）模型是一系列基于神經網絡的語言模型。GPT模型的每一次更新換代，都是自然語言處理領域的突破性進展。 

• GPT-1（2018年）：這是該系列的第一個模型，是在一個大規模的互聯網文本數據集上訓練的。它的關鍵創新之一是使用無監督的預訓練，在這種情況下，模型學習根據前面的單詞的上下文來預測句子中的單詞。這使得該模型能夠學習語言結構，并生成類似人類的文本。
• GPT-2（2019年）：在GPT-1的成功基礎上，它在一個更大的數據集上進行了訓練，產生了一個更強大的模型。GPT-2的主要進步之一是它能夠就廣泛的主題生成連貫和流暢的文本段落，這使它成為了無監督語言理解和生成任務的關鍵角色。?
• GPT-3（2020年）：GPT-3在規模和性能上都是一個實質性的飛躍。它是在一個大規模的數據集上訓練的，使用了1750億個參數，比以前的模型大得多。GPT-3在廣泛的語言任務上取得了最先進的性能，如問題回答、機器翻譯和總結，具有接近人類的能力。它還顯示了執行簡單的編碼任務、編寫連貫的新聞文章、甚至生成詩歌的能力。
• GPT-4：預計很快就會出現，預計就在2023年。

2021: 開發DALL-E 1

Sutskever還領導OpenAI發明了DALL-E 1，這是一個由AI驅動的圖像生成模型。它使用了與GPT模型類似的架構和訓練過程，但被應用于圖像的生成，而非文本。

今天許多主要的圖像生成器--DALL-E 2、MidJourney--都歸功于DALL-E 1，因為它們基于相同的變換器架構，并在類似的圖像數據集和相關文字說明上進行訓練。此外，DALL-E 2和MidJourney都是基于DALL-E 1的微調過程。 

2022年：向世界揭開ChatGPT的面紗

2022年11月30日，Sutskever幫忙推出了ChatGPT，這引起了大眾的廣泛關注，并在短短5天內就發展到100萬用戶。

ChatGPT的工作方式是在大量的文本數據集上預先訓練一個深度神經網絡，然后在特定的任務上對其進行微調，如回答問題或生成文本。它是一個基于GPT-3語言模型的對話式人工智能系統。

理解對話的背景并產生適當的反應是ChatGPT的主要功能之一。該機器人會記住你的對話線索，并根據以前的問題和答案作出后續回應。與其他聊天機器人不同的是，這些機器人通常僅限于預編程的反應，而ChatGPT可以在應用中產生反應，使其能夠進行更加動態和多樣化的對話。

Elon Musk是OpenAI的創始人之一，他說：“ChatGPT優秀得可怕。我們離危險的強大人工智能不遠了”。

尾注

Ilya Sutskever對人工智能的熱情推動了他的突破性研究，改變了該領域的進程。他在深度學習和機器學習方面的工作對推進技術水平和塑造該領域的未來方向起到了重要作用。

我們也親身見證了Sutskever在人工智能領域工作的影響。他已經改變了該領域的進程，并將繼續在這個方向努力。盡管多次面對物質上的誘惑，Sutskever還是選擇了追求他的激情，專注于他的研究；他對工作的奉獻對任何研究人員來說都是堪稱典范。

如今我們已經見證了Sutskever對我們這個世界的影響。很顯然，這僅僅是個開始。