2019深度學(xué)習(xí)框架決戰(zhàn)：PyTorch橫掃AI頂會，再奪NeurIPS 2019！
近日，Reddit的一則熱帖引發(fā)機器學(xué)習(xí)社區(qū)大量討論：
NeurIPS 2019使用的機器學(xué)習(xí)框架：PyTorch 68-> 166，TensorFlow 91-> 74
帖主Horace He是康奈爾大學(xué)的學(xué)生，他的研究興趣是編譯器和機器學(xué)習(xí)的交叉。他分析了 NeurIPS 2019論文使用的機器學(xué)習(xí)框架，發(fā)現(xiàn)相比2018年，今年使用PyTorch的論文從68篇增加到166篇，使用TensorFlow的從91篇減少到74篇。
從篇數(shù)上看，相比2018年，使用PyTorch的論文大幅增加，而TensorFlow略有下降
在所有提及TensorFlow/PyTorch的論文中，PyTorch占了69%
這印證了他的在上個月寫了一篇題為《2019年機器學(xué)習(xí)框架的狀態(tài)》的文章，指出PyTorch的增長在研究領(lǐng)域已經(jīng)大幅超越TensorFlow，研究人員正在放棄TensorFlow并大量涌向PyTorch。同時，在工業(yè)界，Tensorflow當(dāng)前仍然是首選框架，但長期來看可能并非如此。
這篇全面分析比較PyTorch和Tensorflow的增長的文章當(dāng)時引起熱議，但有人質(zhì)疑：這些結(jié)果是否只適用于NLP會議？
現(xiàn)在，從NeurIPS會議的分析結(jié)果來看，答案是否定的。
也有人仍然認(rèn)為動態(tài)圖/PyTorch只在NLP社區(qū)中流行。很顯然，事實并非如此。
從這些分析結(jié)果來看，PyTorch在深度學(xué)習(xí)研究，包括機器學(xué)習(xí)、計算機視覺和自然語言處理各領(lǐng)域都占據(jù)了主導(dǎo)地位，這點Yann LeCun也同意。
Yann LeCun：NeurIPS19論文使用深度學(xué)習(xí)框架中，超過69%提到了PyTorch。PyTorch在深度學(xué)習(xí)研究(ML/CV/NLP會議)中占據(jù)了主導(dǎo)地位。
上圖可以看出，各大ML/CV/NLP的頂會上，采用PyTorch的論文持續(xù)大幅增長，而TensorFlow增速減緩，甚至略有下降。
考慮到各大頂會錄取論文數(shù)量年年增長，只看絕對數(shù)量不能完全反映實際。上圖是采用PyTorch/TensorFlow的論文相對總論文數(shù)量的百分比，可以更明顯地看出這一趨勢。
Reddit網(wǎng)友：從TensorFlow轉(zhuǎn)PyTorch，真香
造成這一趨勢的原因是什么？PyTorch真的那么好用，足以讓一大批研究人員放棄TensorFlow涌向PyTorch嗎？
從Reddit網(wǎng)友的評論來看，改用PyTorch的一致表示“真香”：
過去兩年我一直使用Keras/TF，直到最近我才改用PyTorch。現(xiàn)在我真的很喜歡PyTorch，我覺得它更簡潔明了。只是我個人的看法。
我喜歡使用PyTorch來設(shè)計帶有怪異的訓(xùn)練、反向傳播圖和其他內(nèi)容的新模型。我覺得使用PyTorch，即使你不能快速部署標(biāo)準(zhǔn)模型，也可以更自由地設(shè)計自己的自定義算法。也許這就是為什么它主要用于研究。
我使用Tensorflow/Keras已經(jīng)有一段時間了。我記得的結(jié)論是，Tensorflow在生產(chǎn)部署方面更出色，PyTorch在研究中表現(xiàn)更好。我最近開始使用PyTorch，不得不說我真的很喜歡它，感覺它更“pythonic”。此外，通過諸如ONNX之類的框架，部署(眾所周知的模型)也開始變得不成問題。兩者我都會繼續(xù)使用。
Tensorflow 2.0 vs PyTorch是一個艱難的選擇。
我喜歡Tensorflow，我也喜歡PyTorch。
TF是基于開發(fā)的，PyTorch是基于研究的。
兩者都很需要。在我看來，兩者是平等的。50-50
很長一段時間以來，TensorFlow有很多PyTorch沒有的“面向生產(chǎn)”的特性。例如部署到移動端，能夠在沒有python環(huán)境的情況下運行，有很多方法可以最大化模型的性能(量化等等)。
如果你要在生產(chǎn)中部署模型，那么業(yè)界仍然首選TF。除非他們能讓PyTorch的production pipeline不那么糟糕，否則這種情況將一直持續(xù)下去。
總體來看，網(wǎng)友的體驗與Horace He的分析在很大程度上是一致的。但PyTorch究竟好用在哪里呢，Horace He的文章還細致分析了兩者各自的特性、優(yōu)勢和不足，并討論了機器學(xué)習(xí)框架的未來。
2019年機器學(xué)習(xí)框架之戰(zhàn)，PyTorch還是TensorFlow？
自2012年深度學(xué)習(xí)重新獲得重視以來，許多機器學(xué)習(xí)框架便爭相成為研究人員和行業(yè)從業(yè)人員的新寵。從早期的學(xué)術(shù)成果Caffe和Theano到龐大的產(chǎn)業(yè)支持的PyTorch和TensorFlow，在這么多選擇中，到底最流行的是哪一個？
如果你只瀏覽Reddit，則可能會假設(shè)每個人都在用PyTorch。若從Francois Chollet的Twitter來判斷，TensorFlow或Keras可能是主流，而PyTorch卻停滯不前。
在2019年，機器學(xué)習(xí)框架之戰(zhàn)還有兩個主要競爭者：PyTorch和TensorFlow。分析表明，研究人員正在放棄TensorFlow并大量涌向PyTorch。同時，在行業(yè)中，Tensorflow當(dāng)前是首選平臺，但從長遠來看可能并非如此。
PyTorch在研究領(lǐng)域的主導(dǎo)地位不斷提升
先來看看數(shù)據(jù)。下圖顯示了從2017~2019年，在主要機器學(xué)習(xí)頂會上，僅提及PyTorch的論文和使用TensorFlow或PyTorch的論文之間的比例。可以看出，所有的線條都在向上傾斜，并且在2019年的每個主要會議上，大多數(shù)論文都在PyTorch中實現(xiàn)。
詳見：https://chillee.github.io/pytorch-vs-tensorflow/
如果你需要更多證據(jù)證明PyTorch在學(xué)術(shù)界的發(fā)展有多快，下面是PyTorch與TensorFlow被提及數(shù)量的對比圖。
PyTorch和TensorFlow被單獨提及的數(shù)量
在2018年，PyTorch還是少數(shù)。現(xiàn)在，PyTorch已是主流，CVPR使用PyTorch的占 69％，NAACL和ACL中占75％以上，而ICLR和ICML中占50％以上。雖然PyTorch在視覺和語言會議上的統(tǒng)治地位最強（PyTorch與TensorFlow相比是2：1和3：1），但在ICLR和ICML等常規(guī)機器學(xué)習(xí)會議上，PyTorch也比TensorFlow受歡迎。
雖然有人認(rèn)為PyTorch仍然是一個新興的框架，試圖在TensorFlow主導(dǎo)的世界中開拓一席之地，但數(shù)據(jù)顯示并非如此。除了ICML之外，在任何一次會議上，TensorFlow的增長都與論文的總體增長保持一致。在NAACL、ICLR和ACL，Tensorflow今年的論文數(shù)量實際上比去年少。
PyTorch不用擔(dān)心自己的未來，需要擔(dān)心的是TensorFlow。
為什么研究人員喜歡PyTorch？
- 簡單。它類似于numpy，非常具有python風(fēng)格，并且可以輕松地與Python生態(tài)系統(tǒng)的其余部分集成。例如，只需在PyTorch模型中的任何地方插入一個pdb斷點，它就可以工作了。在TensorFlow中，調(diào)試模型需要一個活動會話（active session），并且最終變得更加棘手。
- 很棒的API。與TensorFlow的API相比，大多數(shù)研究人員更喜歡PyTorch的API。一個原因是PyTorch的設(shè)計更好，另一個原因是TensorFlow通過多次切換API（例如‘layers’ -> ‘slim’ -> ‘estimators’ -> ‘tf.keras’）把自己搞殘了。
- 性能。盡管事實上PyTorch的動態(tài)圖提供的優(yōu)化機會很少，但是有許多傳聞稱PyTorch的速度和TensorFlow一樣快，甚至比TensorFlow還快。目前尚不清楚這是否真的成立，但至少，TensorFlow在這一領(lǐng)域還沒有獲得決定性的優(yōu)勢。
TensorFlow的研究前景如何？
即使TensorFlow在功能方面與PyTorch不相上下，但PyTorch已經(jīng)覆蓋了社區(qū)的大部分。這意味著PyTorch將更容易找到，作者將更有動力在PyTorch中發(fā)布代碼（以便人們使用它），并且你的合作者很可能會更喜歡PyTorch。因此，如果真的發(fā)生的話，任何回到Tensorflow 2.0的遷移都可能很慢。
TensorFlow在Google / DeepMind中將始終擁有一定的受眾群體，但不知道Google是否最終會放棄。即使是現(xiàn)在，Google想要招募的許多研究人員已經(jīng)在不同層次上偏愛PyTorch，而且還聽到有人抱怨說Google內(nèi)部的許多研究人員都希望使用TensorFlow以外的框架。
此外，PyTorch的統(tǒng)治地位可能會開始將Google研究人員與其他研究群體隔離開來。他們不僅很難在外部研究的基礎(chǔ)上進行構(gòu)建，而且外部研究人員也不太可能在Google發(fā)布的代碼基礎(chǔ)上進行構(gòu)建。
PyTorch和TensorFlow用于生產(chǎn)
盡管PyTorch現(xiàn)在在研究領(lǐng)域占據(jù)主導(dǎo)地位，但縱觀業(yè)界，TensorFlow仍然是主導(dǎo)框架。例如，根據(jù)2018年至2019年的招聘網(wǎng)站數(shù)據(jù)，TensorFlow有1541個新職位，PyTorch有1437個新職位。TensorFlow的Medium文章有3230篇，PyTorch則有1200篇；TensorFlow有13700顆GitHub新星，PyTorch有7200顆，等等。
因此，如果PyTorch在學(xué)界中如此流行，為什么它沒有在業(yè)界獲得同樣的成功呢？一個顯而易見的第一個答案就是懶（inertia）。Tensorflow比PyTorch早幾年問世，業(yè)界采用新技術(shù)的速度比研究人員慢。另一個原因是TensorFlow在生產(chǎn)方面比PyTorch更好。但是，這是什么意思？
要回答這個問題，我們需要知道研究人員和行業(yè)的需求有何不同。
研究人員在意他們能夠以多快的速度進行研究，該研究通常是在相對較小的數(shù)據(jù)集（可以放在一臺機器上的數(shù)據(jù)集）上運行的，并且運行在<8個GPU上。通常，研究人員考慮的是速度而非性能，即哪個能讓他們快速實踐新想法。相反，業(yè)界認(rèn)為性能是重中之重。盡管將運行速度提高10％對研究人員來說毫無意義，但這可以直接為公司節(jié)省數(shù)百萬美元的費用。
另一個區(qū)別是部署。研究人員將在自己的計算機或?qū)Ｓ糜谶\行研究工作的服務(wù)器群集上進行實驗。相反，業(yè)界有很多限制/要求：
- 無Python。一些公司會運行服務(wù)器，而高昂的Python運行開銷無法承受。
- 移動。無法在mobile binary中嵌入Python interpreter。
- 服務(wù)。一個全面的功能，如不停機更新模型，無縫切換模型，在預(yù)測時間批處理，等等。
TensorFlow是專門針對這些需求而構(gòu)建的，并為所有這些問題提供了解決方案：圖形格式和執(zhí)行引擎本來就不需要Python，TensorFlow Lite和TensorFlow Serving服務(wù)分別考慮了移動和服務(wù)。
從歷史上看，PyTorch未能滿足這些考慮，因此大多數(shù)公司目前在生產(chǎn)中使用TensorFlow。
Tensorflow Eager
在 API 級別，TensorFlow eager 模式與 PyTorch 的 eager 模式本質(zhì)上是相同的。eager 模式為 TensorFlow 提供了 PyTorch 的大部分優(yōu)勢 (易用性、可調(diào)試性等)。
然而，這也給了 TensorFlow 帶來了同樣的缺點。TensorFlow eager 模型不能導(dǎo)出到非 python 環(huán)境，不能進行優(yōu)化，不能在移動設(shè)備上運行，等等。
這將 TensorFlow 置于與 PyTorch 相同的位置，它們以本質(zhì)上相同的方式進行解析 —— 你可以跟蹤代碼 (tf.function) 或重新解釋 Python 代碼 (Autograph)。
因此，TensorFlow 的 eager 模式并不能真正做到 “兩全其美”。盡管可以使用 tf 將代碼轉(zhuǎn)換為靜態(tài)圖，但這不是一個無縫的過程。跟蹤代碼會受到限制，重新解釋 Python 代碼本質(zhì)上需要重寫大部分 Python 編譯器。當(dāng)然，通過將范圍限制為用于深度學(xué)習(xí)的 Python 子集，可以大大簡化范圍。
PyTorch占領(lǐng)研究界，TensorFlow統(tǒng)治工業(yè)界
至此，我們得出了機器學(xué)習(xí)框架當(dāng)前的現(xiàn)狀：
- PyTorch 占領(lǐng)了研究界，并試圖將其在研究領(lǐng)域的成功推廣到工業(yè)界。
- TensorFlow 試圖在不犧牲太多生產(chǎn)能力的情況下，遏制其在研究領(lǐng)域的損失。
當(dāng)然，PyTorch 要在業(yè)界產(chǎn)生有意義的影響還需要很長一段時間 ——TensorFlow 太根深蒂固了，而行業(yè)變化緩慢。
不過，從 TensorFlow 1.0 過渡到 2.0 會是困難的，這為公司考慮采用 PyTorch 提供了機會。
未來將取決于誰能更好地回答下列問題。
- 研究人員的偏好會對業(yè)界產(chǎn)生多大的影響？
現(xiàn)在這批博士生即將畢業(yè)，他們將帶上 PyTorch 進入業(yè)界。這種偏好是否足夠強大，以至于公司會出于招聘目的選擇 PyTorch？創(chuàng)業(yè)的畢業(yè)生會為自己的公司選擇 PyTorch 嗎 ?
- TensorFlow 的 eager 模式在可用性方面能趕上 PyTorch 嗎？
在線社區(qū)給我的印象是，TensorFlow Eager 深受性能 / 內(nèi)存問題的困擾，而 Autograph 系列也有自己的問題。谷歌將花費大量的工程努力，但 TensorFlow 卻受歷史包袱拖累。
- PyTorch 達到生產(chǎn)狀態(tài)的速度有多快？
PyTorch 仍有許多基本問題問題沒有解決 —— 沒有好的量化指標(biāo)、不支持移動設(shè)備、服務(wù)性等等。在這些問題解決之前，PyTorch 不會成為許多公司的選擇。注：在本文發(fā)布的當(dāng)天，PyTorch 就宣布了對量化和移動的支持。這兩種方法都還處于試驗階段，但是對于 PyTorch 來說已經(jīng)取得了重大進展。
- 谷歌在行業(yè)上的孤立會傷害它嗎？
谷歌推動 TensorFlow 的主要原因之一是幫助其迅速發(fā)展的云服務(wù)。由于谷歌試圖擁有整個 ML 垂直市場，這可能激勵競爭的公司 (微軟、亞馬遜、英偉達等) 支持唯一的替代機器學(xué)習(xí)框架，即 PyTorch。
機器學(xué)習(xí)框架的下一步：高階微分和代碼生成
下一步是什么
機器學(xué)習(xí)框架在很大程度上影響了ML研究，這一點或許沒有得到充分的認(rèn)識。它們不僅使機器學(xué)習(xí)研究成為可能，它們還使研究人員能夠輕松探索的想法成為可能，或?qū)@些想法加以限制。有多少新生的想法僅僅因為沒法簡單地在一個框架中表達而粉碎？PyTorch可能已經(jīng)達到了本地研究的最低要求，但值得探討的是，其他框架提供了什么，以及它們可能帶來哪些研究機會。
高階微分：
PyTorch和Tensorflow的核心是自動微分框架。也就是說，它們允許對某個函數(shù)求導(dǎo)。然而，有許多方法可以實現(xiàn)自動微分，大多數(shù)現(xiàn)代ML框架選擇的特定實現(xiàn)稱為“反向模式自動微分”，更常見的說法是“反向傳播”。這個實現(xiàn)被證明對神經(jīng)網(wǎng)絡(luò)求導(dǎo)非常有效。
但是，計算高階導(dǎo)數(shù)(Hessian/Hessian向量內(nèi)積)的情況有所變化。有效地計算這些需要所謂的“前向模式自動微分”。如果沒有這種能力，計算Hessian向量內(nèi)積可能會慢幾個數(shù)量級。
Jax是由Autograd的同一幫人構(gòu)建的，具有正向和反向模式自動微分的特性。這使得計算高階導(dǎo)數(shù)的速度比PyTorch/TensorFlow快幾個數(shù)量級。
然而，Jax提供的不僅僅是高階導(dǎo)數(shù)。Jax開發(fā)人員將Jax視為組合任意函數(shù)轉(zhuǎn)換的框架，包括vmap(用于自動批處理)或pmap(用于自動并行處理)。
最初的autograd有一批忠實追隨者(盡管沒有GPU支持，ICML仍然有11篇論文還是使用了它)，Jax很可能很快就會形成一個類似的忠實社區(qū)，將它用于各種n階導(dǎo)數(shù)。
代碼生成
當(dāng)運行PyTorch/TensorFlow模型時，大部分工作實際上并不是在框架中完成的，而是由第三方內(nèi)核完成的。這些內(nèi)核通常由硬件供應(yīng)商提供，由高級框架可以利用的操作符庫組成。比如MKLDNN(用于CPU)或cuDNN(用于Nvidia GPU)。更高級的框架將它們的計算圖分解成多個塊，然后這些塊可以調(diào)用這些計算庫。這些庫代表了數(shù)千小時的工作，并且經(jīng)常針對架構(gòu)和應(yīng)用程序進行優(yōu)化以獲得最佳性能。
然而，最近對非標(biāo)準(zhǔn)硬件、稀疏/量化張量和新運算符的興趣暴露了依賴這些運算符庫的一個主要缺陷：它們不靈活。如果你想在研究中使用一個新的運算符，比如膠囊網(wǎng)絡(luò)，你會怎么做？如果你想在ML框架不支持的新硬件加速器上運行模型，該怎么辦？現(xiàn)有的解決方案往往達不到要求。
每一個新的硬件結(jié)構(gòu)、張量類別或運算符都大大增加了這個問題的難度。有很多工具 (Halide, TVM, PlaidML, Tensor Comprehensions, XLA, Taco, etc)可以處理，但是仍沒有一個正確的方法。
如果不投入更多的工作來解決這個問題，我們就會有將ML研究過度適合于現(xiàn)有工具的風(fēng)險。
機器學(xué)習(xí)框架的未來
這些對于TensorFlow和PyTorch的未來來說是激動人心的時刻。它們的設(shè)計已經(jīng)趨同到這樣一個地步，以至于任何一個框架都不會憑借其設(shè)計而獲得決定性的勝利。雙方都劃出了各自的領(lǐng)域——一方占據(jù)研究界，另一方占據(jù)工業(yè)界。
就我個人而言，在PyTorch和TensorFlow之間，我傾向于PyTorch。機器學(xué)習(xí)仍然是一個研究驅(qū)動的領(lǐng)域。工業(yè)界不能忽視研究成果，只要PyTorch主導(dǎo)研究，就會迫使公司轉(zhuǎn)向PyTorch。
然而，快速發(fā)展的不僅僅是框架。機器學(xué)習(xí)研究本身也處于快速的變化之中。不僅框架會改變——5年后使用的模型/硬件/范例都可能與我們今天使用的有很大的不同。也許隨著另一種計算模型占據(jù)主導(dǎo)地位，PyTorch和TensorFlow之爭將變得無關(guān)緊要。
我們大多數(shù)人從事機器學(xué)習(xí)工作不是為了賺錢，也不是為了協(xié)助公司的戰(zhàn)略計劃。我們從事機器學(xué)習(xí)是因為我們關(guān)心——關(guān)于推進機器學(xué)習(xí)研究，關(guān)于人工智能的民主化，或者僅僅是關(guān)于構(gòu)建有趣的東西。不管你是喜歡TensorFlow還是PyTorch，我們都在努力讓機器學(xué)習(xí)軟件做到最好。
