編輯 | 云昭
出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）
Pytorch 贏了。
大家可能沒注意到，現(xiàn)在每一款與你互動(dòng)的Chatbot，背后運(yùn)行的都是 PyTorch。可以說，它已經(jīng)成為了主流LLM研發(fā)鏈路中事實(shí)上的標(biāo)準(zhǔn)。
首先，不管是大洋彼岸的OpenAI、Anthropic，還是國(guó)內(nèi)的通義千問、智譜、月之暗面，他們推出的大模型或開源實(shí)現(xiàn)，都提供或偏好Pytorch框架。
OpenAI早在2020年就官方聲明中就明確表示將研究標(biāo)準(zhǔn)化在 PyTorch 平臺(tái)上，來提高研究迭代效率。
圖片
而從 OpenAI 出走的 Anthropic，也公開披露了對(duì)于 Pytorch 框架的偏好，甚至其研究團(tuán)隊(duì)使用 PyTorch 來定義、訓(xùn)練和推理他們的 Transformer 模型（包括 Claude 1～3 系列）。更夸張地是，Claude 甚至從未發(fā)布過TF版本，也沒有兼容的推理接口。其生態(tài)完全圍繞 PyTorch 和 CUDA 展開。
圖片
甚至擁有TensorFlow、JAX 的谷歌，也毫不避諱地在自己官方文檔中將推出 Gemma 運(yùn)行在 Pytorch 上的教程。
圖片
國(guó)內(nèi)的大模型頂流們，亦是如此。阿里的Qwen、智譜的ChatGLM、月暗的 Kimi，社區(qū)上沒有發(fā)現(xiàn)TF版本，甚至官方技術(shù)說明都為提到TF。
圖片
可以說現(xiàn)在除了谷歌系模型（也用最新的JAX，而不是TF），幾乎所頂流大模型公司都在采用Pytorch作為首選。而 TensorFlow 目前更多“活”在移動(dòng)端、課本和教程視頻上。
那么，為什么 Pytorch 贏了？
這個(gè)問題，相信每一位在用Pytorch的朋友，都有自己的答案。
但要回答好這個(gè)問題，沒有比Pytorch最早的參與成員來回答更合適了。
上周，于舊金山舉行的 PyTorch 2025 年大會(huì) 上， PyTorch 基金會(huì)技術(shù)顧問委員會(huì)的主席 Luca Antiga 發(fā)表了事關(guān) Pytorch 長(zhǎng)遠(yuǎn)發(fā)展的重要觀點(diǎn)。Luca 不僅是最早參與撰寫 PyTorch 論文的團(tuán)隊(duì)成員之一，還共同編寫了《Deep Learning with PyTorch》一書。
這就為大家梳理下 Luca 的發(fā)言內(nèi)容。
研究者友好的“Pythonic”設(shè)計(jì)
擁有生物醫(yī)學(xué)工程學(xué)術(shù)背景的 Luca 指出，PyTorch 之所以能迅速流行，是因?yàn)樗鼘?duì)研究者非常友好。許多早期用戶都是學(xué)術(shù)界的研究人員，后來他們進(jìn)入工業(yè)界，也將 PyTorch 帶了進(jìn)去。
它非常 Pythonic。在過去，雖然很多框架號(hào)稱用 Python，但你實(shí)際上需要寫一種‘元語言’，讓代碼和問題本身之間多了一層隔閡，調(diào)試也更困難。
而 PyTorch 在這方面是革命性的，它把 Python 的易用性、快速迭代能力，以及那種‘先干起來’的精神，帶進(jìn)了神經(jīng)網(wǎng)絡(luò)、反向傳播和 GPU 計(jì)算的世界。
從神經(jīng)網(wǎng)絡(luò)到生成式 AI，PyTorch 始終在牌桌上
PyTorch 誕生之初，行業(yè)的重心還在神經(jīng)網(wǎng)絡(luò)，主要用于圖像識(shí)別或情感分析。直到 ChatGPT 出現(xiàn)，生成式 AI 才讓公眾真正意識(shí)到 AI 的潛力。但 Antiga 認(rèn)為，PyTorch 從未“過時(shí)”。
無論經(jīng)歷了多少次技術(shù)革命，你總能看到 PyTorch 的身影。
當(dāng)然，還有像 JAX 這樣的強(qiáng)勁對(duì)手，但相比之下，PyTorch 已經(jīng)發(fā)展成一整個(gè)產(chǎn)業(yè)的基石，它支撐起整個(gè)生態(tài)。
如今，PyTorch 不再只是訓(xùn)練模型的工具，它也成為 模型推理階段的核心。
看看現(xiàn)在最流行的推理框架——vLLM、SGLang——它們都在用 PyTorch，而且是用在生產(chǎn)環(huán)境里的。
今天你與任何一個(gè)聊天機(jī)器人互動(dòng)時(shí)，很可能后臺(tái)運(yùn)行的就是 PyTorch。
強(qiáng)化學(xué)習(xí)讓 PyTorch 再次走在前列
近來 PyTorch 人氣再度攀升的另一個(gè)原因，是 強(qiáng)化學(xué)習(xí) 的廣泛應(yīng)用。強(qiáng)化學(xué)習(xí)通過“獎(jiǎng)勵(lì)正確行為、懲罰錯(cuò)誤行為”的方式，來微調(diào)預(yù)訓(xùn)練的大語言模型（LLM），而 PyTorch 對(duì)這類任務(wù)也特別契合。
強(qiáng)化學(xué)習(xí)會(huì)鼓勵(lì)模型在面對(duì)環(huán)境時(shí)，做出能帶來更大獎(jiǎng)勵(lì)的行動(dòng)。
PyTorch 的靈活性非常適合在這種動(dòng)態(tài)、交互式的場(chǎng)景下使用。
PyTorch 基金會(huì)的最新動(dòng)向
至于 PyTorch 基金會(huì)本身，值得注意的是，幾個(gè)月前它剛開始接納更多項(xiàng)目，首先是 vLLM 和 DeepSpeed。如今，隨著分布式計(jì)算框架 Ray 的加入，基金會(huì)旗下已有四個(gè)重要項(xiàng)目。
但 Luca 強(qiáng)調(diào)，基金會(huì)并不打算變成一個(gè)“巨型傘形組織”。
我最關(guān)心的是生態(tài)系統(tǒng)里的用戶——他們?cè)谶M(jìn)入由 PyTorch 基金會(huì)“背書”的生態(tài)時(shí)，會(huì)經(jīng)歷怎樣的旅程？
我的目標(biāo)是讓他們能成功。
個(gè)人最關(guān)心的AI突破方向：LLM微型化
如今，大模型狂奔向前，哪些研究方向值得關(guān)注呢？
Luca非常篤定地表達(dá)了自己的看法：現(xiàn)在的大模型還是太笨重了，雖然能用，但成本消耗巨大。
我一直覺得，人類其實(shí)在做一件驚人的事：我們?cè)谟?xùn)練一種“類比機(jī)器”，一種不需要精確指令、能通過模式和類比自我推理的機(jī)器。
但我們現(xiàn)在造的這臺(tái)“飛行機(jī)器”，更像是靠一堆齒輪和螺旋槳的龐然大物——能飛，卻笨重。真正的“飛行證明”其實(shí)是鳥類。
人類大腦才是我們真正的“對(duì)照組”——我們的大腦在思考時(shí)消耗的能量極低，卻能完成復(fù)雜的推理。
未來的突破方向，是能否把LLM那種龐大結(jié)構(gòu)“微型化”，讓模型能從頭到尾學(xué)習(xí)，而不需要如此多的顯存與能量。
PS：這一點(diǎn)毫不夸張，現(xiàn)在就連個(gè)體開發(fā)者都可能在代碼工具上開銷達(dá)上萬美元。
“這讓我非常著迷。我不確定PyTorch基金會(huì)是否會(huì)沿這個(gè)方向演進(jìn)，但我個(gè)人對(duì)此充滿熱情。”
對(duì)于這個(gè)方向，Luca 也正在身體力行地做出了很多投入。Luca 還是 Lightning AI的首席技術(shù)官，他們團(tuán)隊(duì)提供了一個(gè)PyTorch友好的訓(xùn)推平臺(tái)，其中很多客戶更大的訴求就是：想盡可能優(yōu)化每一份資源的使用。
所以，我們非常關(guān)注訓(xùn)練與推理的全鏈路優(yōu)化，從GPU核心層到數(shù)據(jù)加載、任務(wù)調(diào)度、流式處理，每一層都可能成為瓶頸。
有時(shí)你卡在數(shù)據(jù)加載，有時(shí)是計(jì)算沒有并行，有時(shí)是模型本身沒調(diào)優(yōu)。要真正優(yōu)化性能，得從端到端去分析。
我們也希望幫助開發(fā)者提高算力利用率，讓他們能在研發(fā)之外，用得其所。
好了，文章到這里結(jié)束了。目前，PyTorch 已經(jīng)成為全球 AI 模型的“操作系統(tǒng)”。無論是研究者造模型，還是企業(yè)部署模型，底層框架首選，當(dāng)之無愧。
大家如何看待Pytorch的王者之路呢？
