不要叫我程序員，我是「AI工程師」，馬斯克：開(kāi)始卷自然語(yǔ)言編程

作者：機(jī)器之心 2023-07-03 10:01:28

未來(lái)十年需求最高的工作，是「AI 工程師」？

ChatGPT 出現(xiàn)后，人們預(yù)測(cè)「所有行業(yè)都要通過(guò) AI 進(jìn)行重塑」，有些工作會(huì)被代替，也有工作會(huì)改變形式。作為把 AI 造出來(lái)的程序員，他們的職業(yè)會(huì)變成什么樣？

最近，事情看起來(lái)有了譜，一群工程師和學(xué)者喊出了「AI 工程師」的概念，獲得了眾多響應(yīng)：

圖片

由于 GPT-4 等大語(yǔ)言模型展現(xiàn)出的通用化且強(qiáng)大的能力，我們的工作方式或許很快就會(huì)轉(zhuǎn)變成和 AI 協(xié)同工作，跟上人工智能的步伐本身就是一項(xiàng)全職工作。

據(jù)說(shuō)，這個(gè)「AI 工程師」處于全棧工程師和機(jī)器學(xué)習(xí)工程師之間，占據(jù)后端工程師的一部分，專(zhuān)注于大模型的構(gòu)建。現(xiàn)在它還處于定義階段，不過(guò)看大家熱烈討論的樣子，距離落地應(yīng)該不遠(yuǎn)了，畢竟 ChatGPT 革命的速度就是這么快。

想法一出，AI 領(lǐng)域大 v 們迅速有了點(diǎn)評(píng)。OpenAI 科學(xué)家、前特斯拉 AI 和自動(dòng)駕駛主管 Andrej Karpathy 表示贊同。「大模型創(chuàng)建了一個(gè)全新的抽象和專(zhuān)業(yè)層，到目前為止，我把它稱(chēng)為『提示工程師』，但現(xiàn)在不止是提示的問(wèn)題。」

另外他指出四個(gè)要點(diǎn)：

過(guò)去的機(jī)器學(xué)習(xí)工作通常要從頭開(kāi)始訓(xùn)練算法，而結(jié)果一般性能有限。
大模型訓(xùn)練與傳統(tǒng)機(jī)器學(xué)習(xí)有很大不同，前者系統(tǒng)工作量很大，進(jìn)而分裂出一種新角色，專(zhuān)注于在超級(jí)計(jì)算機(jī)上對(duì) Transformer 進(jìn)行大規(guī)模訓(xùn)練。
從數(shù)字上看，AI 工程師的數(shù)量可能會(huì)比機(jī)器學(xué)習(xí)工程師 / 大模型工程師多得多。
你無(wú)需接受任何訓(xùn)練就可以成功擔(dān)任這一角色。

圖片

馬斯克看完以后也說(shuō)了：

圖片

職位需求大，有重要意義且門(mén)檻低，看起來(lái)讓人既興奮又焦慮。

在討論中，也有人提出了「認(rèn)知工程師」、「AI 系統(tǒng)工程師」等名稱(chēng)作為候選，英偉達(dá) AI 科學(xué)家 Jim Fan 認(rèn)為這種新興的職業(yè)應(yīng)該被稱(chēng)為「無(wú)梯度工程師」—— 從傳統(tǒng)工具 1.0，到神經(jīng)網(wǎng)絡(luò) 2.0，再到無(wú)梯度架構(gòu)的 3.0，我們終于等來(lái)了 GPT 系列自我訓(xùn)練的 4.0 版本。

圖片

對(duì)此，威斯康星大學(xué)助理教授 Sebastian Raschka 表示，這僅適用于通用助理，對(duì)于大多數(shù)業(yè)務(wù)，你也不需要「通用」。

名稱(chēng)和定義給了很多，讓我們看看這個(gè)「AI 工程師」到底是什么樣的職位？

在基礎(chǔ)模型的突破性能力和開(kāi)源大模型、API 的推動(dòng)下，我們正在見(jiàn)證應(yīng)用人工智能十年一次的轉(zhuǎn)變。

在 2013 年需要花費(fèi)五年時(shí)間和一個(gè)研究團(tuán)隊(duì)才能完成的人工智能任務(wù)，現(xiàn)在只需要 API、文檔和 2023 年一個(gè)空閑的下午即可完成。

圖片

然而，細(xì)節(jié)決定成敗 —— 應(yīng)用和產(chǎn)品化人工智能的挑戰(zhàn)無(wú)窮無(wú)盡：

模型上，有從最大的 GPT-4 和 Claude 模型，到開(kāi)源的 Huggingface、LLaMA 和其他模型；
工具上，從最流行的鏈接、檢索和矢量搜索工具（如 LangChain、LlamaIndex 和 Pinecone）到新興的自主代理領(lǐng)域（如 Auto-GPT 和 BabyAGI）；
技術(shù)上，每天新提交的論文、模型和技術(shù)的數(shù)量隨著興趣和資金的增加而呈指數(shù)級(jí)增長(zhǎng)，以至于了解這一切幾乎已是一項(xiàng)全職工作。

若認(rèn)真嚴(yán)肅地對(duì)待此種情況，這應(yīng)該被認(rèn)為是一份全職工作。因此，軟件工程將催生出一個(gè)新的子學(xué)科，專(zhuān)門(mén)研究人工智能的應(yīng)用并有效地運(yùn)用新興的堆棧，就像「站點(diǎn)可靠性工程師」（SRE）、「開(kāi)發(fā)運(yùn)營(yíng)工程師」、「數(shù)據(jù)工程師」和「分析工程師」的出現(xiàn)一樣。

這個(gè)角色的全新（也是最不令人敬畏的）版本似乎是：人工智能工程師。

我們知道，每家創(chuàng)業(yè)公司都有某種討論 AI 使用的 Slack 頻道，很快這些渠道將從非正式團(tuán)體轉(zhuǎn)變?yōu)檎綀F(tuán)隊(duì)。目前，成千上萬(wàn)的軟件工程師正致力于生產(chǎn) AI API 和 OSS 模型，無(wú)論是在上班時(shí)間還是晚上和周末，在公司 Slacks 或獨(dú)立 Discords 中，這一切都將專(zhuān)業(yè)化并集中在一個(gè)頭銜上：AI 工程師。

這可能是未來(lái)十年需求最高的工程工作。

人工智能工程師將隨處可見(jiàn)，從微軟和谷歌等科技巨頭，到 Figma、Vercel 和 Notion 這樣領(lǐng)先的初創(chuàng)公司，獨(dú)立開(kāi)發(fā)者，如 Simon Willison、Pieter Levels 和 Riley Goodside。他們?cè)?Anthropic 進(jìn)行的工程實(shí)踐，每年可以賺取 30 萬(wàn)美元，在 OpenAI 構(gòu)建軟件，每年能賺取 90 萬(wàn)美元。他們利用周末空閑時(shí)間在 AGI House 思考想法，并在 Reddit 的 /r/LocalLLaMA 專(zhuān)區(qū)上分享技巧。

他們的共同點(diǎn)是，幾乎可以在一夜之間就能把人工智能的進(jìn)步轉(zhuǎn)化為數(shù)百萬(wàn)人使用的實(shí)際產(chǎn)品。而在其中，你看不到一個(gè)博士學(xué)位的頭銜。在交付人工智能產(chǎn)品時(shí)，你需要的是工程師，而不是研究人員。

AI 工程師與 ML 工程師的大反轉(zhuǎn)

在 Indeed 網(wǎng)站上的一組數(shù)據(jù)表明，機(jī)器學(xué)習(xí)工程師的職位數(shù)量是 AI 工程師職位數(shù)量的 10 倍，但相比較而言，AI 領(lǐng)域的增長(zhǎng)速率更快一些，有預(yù)測(cè)認(rèn)為這種比例將在五年內(nèi)發(fā)生反轉(zhuǎn)，即 AI 工程師將會(huì)是 ML 工程師的數(shù)倍。

圖片

HN Who’s Hiring（其是 Hacker News 上的一個(gè)月度帖子，它提供了一個(gè)平臺(tái)，供雇主發(fā)布招聘信息）不同類(lèi)別的月度就業(yè)趨勢(shì)

一直以來(lái)，關(guān)于 AI 和 ML 之間差異的爭(zhēng)論無(wú)休無(wú)止，但又小心謹(jǐn)慎。我們也很清楚，職位為普通的軟件工程師完全可以構(gòu)建起 AI 軟件。然而，最近大家又在圍繞另一個(gè)問(wèn)題展開(kāi)討論，即在 Hacker News 的一個(gè)熱帖「如何進(jìn)入 AI 工程」引起了大家的廣泛興趣，這則熱門(mén)帖子也說(shuō)明了市場(chǎng)上仍然存在的基本限制原則，對(duì)每個(gè)職位的區(qū)分還是很細(xì)的。

圖片

Hacker News 上 2023 年 6 月一個(gè)帖子的截圖：「如何進(jìn)入 AI 工程」的熱門(mén)投票答案。

直到現(xiàn)在，還有很多人認(rèn)為 AI 工程是 ML 工程或數(shù)據(jù)工程的一種形式，所以當(dāng)有人詢(xún)問(wèn)如何進(jìn)入某一領(lǐng)域時(shí)，他們傾向于推薦相同的先決條件，如在上面的回答中，很多人推薦了吳恩達(dá)（Andrew Ng）的 Coursera 課程。但那些高效的 AI 工程師中沒(méi)有一個(gè)人完成過(guò)吳恩達(dá)在 Coursera 上的課程，他們也不熟悉 PyTorch，也不知道數(shù)據(jù)湖（Data Lake）和數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse）之間的區(qū)別。

在不久的將來(lái)，沒(méi)有人會(huì)建議通過(guò)閱讀 Transformer 的論文《Attention is All You Need》來(lái)開(kāi)始學(xué)習(xí) AI 工程，就像你不會(huì)通過(guò)閱讀福特 T 型車(chē)的設(shè)計(jì)圖紙來(lái)開(kāi)始學(xué)習(xí)駕駛一樣。當(dāng)然，理解基本原理和技術(shù)的歷史進(jìn)展是有幫助的，它可以幫你找到提高思路和效率的方法。但有時(shí)你也可以通過(guò)使用產(chǎn)品，以實(shí)際經(jīng)驗(yàn)來(lái)了解它們的特性。

AI 工程師與 ML 工程師的反轉(zhuǎn)不會(huì)在一夜之間發(fā)生，對(duì)于擁有良好的數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)背景的人來(lái)說(shuō)，Prompt 工程和 AI 工程可能會(huì)在很長(zhǎng)一段時(shí)間內(nèi)不被看好。然而，隨著時(shí)間的推移，需求和供應(yīng)的經(jīng)濟(jì)規(guī)律將會(huì)占上風(fēng)，人們對(duì) AI 工程觀點(diǎn)也會(huì)改觀。

為什么 AI 工程師會(huì)興起？

在模型層面，現(xiàn)在很多基礎(chǔ)模型是少樣本學(xué)習(xí)器，具有很強(qiáng)的上下文學(xué)習(xí)以及零樣本遷移能力，模型展現(xiàn)出來(lái)的性能往往超越了訓(xùn)練模型的最初意圖。換句話說(shuō)，創(chuàng)建這些模型的人并不完全知道模型的能力范圍。而那些非 LLM（大語(yǔ)言模型）專(zhuān)家的人可以通過(guò)與模型更多地交互，并將其應(yīng)用于研究所低估的領(lǐng)域來(lái)發(fā)現(xiàn)和利用這些能力。

在人才層面，微軟、谷歌、Meta 以及大型基礎(chǔ)模型實(shí)驗(yàn)室已經(jīng)壟斷了稀缺的研究人才，他們提供了「AI 研究即服務(wù)」的 API。你可能無(wú)法雇傭這種研究人員，但你可以租用他們的服務(wù)。現(xiàn)在全球大約有 5000 名 LLM 研究人員、5000 萬(wàn)名軟件工程師。這一供應(yīng)限制決定了處于「中間」類(lèi)別的 AI 工程師將會(huì)崛起，從而滿(mǎn)足人才需求。

硬件層面，各大科技公司、機(jī)構(gòu)等大量囤積 GPU，當(dāng)然，OpenAI、微軟是第一個(gè)這樣做的，但 Stability AI 通過(guò)強(qiáng)調(diào)他們的 4000 個(gè) GPU 集群開(kāi)啟了初創(chuàng)公司的 GPU 競(jìng)爭(zhēng)戰(zhàn)。

圖片

此外，一些新的初創(chuàng)公司開(kāi)始崛起，如 Inflection（13 億美元）、Mistral（1.13 億美元）、Reka（5800 萬(wàn)美元）、Poolside（2600 萬(wàn)美元）和 Contextual（2000 萬(wàn)美元）已經(jīng)普遍開(kāi)始籌集巨額種子輪融資，以擁有自己的硬件設(shè)施。

美國(guó)科技行業(yè)的高管和投資者 Nat Friedman 甚至宣布了他們的 Andromeda 計(jì)劃，該計(jì)劃是一座價(jià)值 1 億美元、擁有 10 exaflop 計(jì)算能力的 GPU 集群，專(zhuān)門(mén)為其投資的初創(chuàng)公司提供支持。在 API 領(lǐng)域的另一側(cè)，將會(huì)有更多的 AI 工程師能夠使用模型，而不僅僅是訓(xùn)練模型。

效率方面，與其要求數(shù)據(jù)科學(xué)家、機(jī)器學(xué)習(xí)工程師在訓(xùn)練單個(gè)特定領(lǐng)域模型并投入生產(chǎn)之前進(jìn)行繁瑣的數(shù)據(jù)收集工作，產(chǎn)品經(jīng)理、軟件工程師可以通過(guò)與 LLM 進(jìn)行交互，構(gòu)建和驗(yàn)證產(chǎn)品想法。

圖片

假設(shè)后者（數(shù)據(jù)、ML 工程師）的數(shù)量是前者（AI 工程師）的 100 到 1000 倍，而通過(guò)與 LLM 交互的工作方式會(huì)讓你比傳統(tǒng)的機(jī)器學(xué)習(xí)快 10 到 100 倍。因此，AI 工程師將能夠以比以往便宜 10000 倍的方式驗(yàn)證 AI 產(chǎn)品。

軟件層面，會(huì)出現(xiàn) Python 到 JavaScript 的變化。傳統(tǒng)上，數(shù)據(jù)和 AI 領(lǐng)域以 Python 為中心，而第一批 AI 工程工具（如 LangChain、LlamaIndex 和 Guardrails）也以 Python 為主。然而，JavaScript 開(kāi)發(fā)者的數(shù)量至少應(yīng)與 Python 開(kāi)發(fā)者數(shù)量相當(dāng)，因此現(xiàn)在的工具越來(lái)越多地向這個(gè)方向擴(kuò)展，從 LangChain.js 和 Transformers.js 到 Vercel 的新 AI SDK。JavaScript 的市場(chǎng)總體規(guī)模的擴(kuò)大和機(jī)遇是令人矚目的。

每當(dāng)一個(gè)有著完全不同的背景、使用完全不同的語(yǔ)言、生產(chǎn)完全不同的產(chǎn)品、使用完全不同的工具的子群體出現(xiàn)時(shí)，他們最終會(huì)分裂成自己的群體。

代碼在軟件 2.0 到軟件 3.0 演進(jìn)中的作用

6 年前，Andrej Karpathy 撰寫(xiě)了一篇非常有影響力的文章，描述了軟件 2.0，將精確建模邏輯的經(jīng)典堆棧手寫(xiě)編程語(yǔ)言與近似邏輯的機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的新堆棧進(jìn)行對(duì)比。文章表明軟件能夠解決更多問(wèn)題，而這些問(wèn)題是人類(lèi)無(wú)法建模的。

今年，Karpathy 繼續(xù)發(fā)表文章指出，最熱門(mén)的新編程語(yǔ)言是英語(yǔ)，因?yàn)樯墒?AI 的提示可以理解為人類(lèi)設(shè)計(jì)的代碼，很多情況下是英語(yǔ)，并由 LLM 解釋?zhuān)罱K填補(bǔ)了他的圖表中的灰色區(qū)域。

圖片

注：軟件 1.0（Software 1.0）的經(jīng)典堆棧是用 Python、C++ 等語(yǔ)言編寫(xiě)的。軟件 2.0 是用神經(jīng)網(wǎng)絡(luò)權(quán)重編寫(xiě)的，沒(méi)有人參與這段代碼的編寫(xiě)過(guò)程，因?yàn)闄?quán)重有很多。

去年，Prompt Engineering 成為一個(gè)流行的話題，人們開(kāi)始將 GPT-3 和 Stable Diffusion 應(yīng)用于工作。人們嘲笑 AI 創(chuàng)業(yè)公司為 OpenAI 包裝器，并對(duì) LLM 應(yīng)用程序易受提示注入和反向提示工程的問(wèn)題感到擔(dān)憂(yōu)。

但 2023 年很重要的一個(gè)主題是關(guān)于重新確立人類(lèi)編寫(xiě)的代碼的作用，從超過(guò) 2 億美元的巨頭 Langchain 到由英偉達(dá)支持的 Voyager，顯示出代碼生成和重用的重要性。Prompt Engineering 既被過(guò)度炒作又具有持久性，但在軟件 3.0 應(yīng)用程序中重新出現(xiàn)的軟件 1.0 范式既是一個(gè)巨大的機(jī)遇，也為大量的創(chuàng)業(yè)公司創(chuàng)造了新的空間：

圖片