然而，最近我一直在思考我們?cè)?PyTorch 中進(jìn)行的各種項(xiàng)目，包括：

• functorch：直接用 Python 編寫像 vmap/grad 這樣的轉(zhuǎn)換，以前只能作為調(diào)度程序的 C++ 擴(kuò)展;
• FX：圖形轉(zhuǎn)換，以前只能借助 C++ TorchScript 完成;
• Python autograd implementation：對(duì) autograd 實(shí)現(xiàn)做了實(shí)驗(yàn)性更改，以前只能用 C++ 進(jìn)行。

這些項(xiàng)目都有一個(gè)共同點(diǎn)：有些功能以前只能用 C++ 實(shí)現(xiàn)，而現(xiàn)在 PyTorch 使得用 Python 完成這些功能成為可能，提升了 hackability，并讓開發(fā)變得更加簡易。

PyTorch 以前主要是用 Python 編寫的，后來我們將所有內(nèi)容都移到了 C++，以使其運(yùn)行得更快。因此，我們?cè)絹碓蕉嗟靥幱谶@樣一種情況：我們想要擁有這塊蛋糕(hackability)，同時(shí)吃掉它(性能)。

這與 Julia 講了近十年的故事不謀而合。Julia 的開發(fā)團(tuán)隊(duì)一直認(rèn)為：

一種語言必須能被編譯為高效的代碼，Julia 語言添加了一些限制(類型穩(wěn)定性)，以確保這一點(diǎn);一種語言必須允許后續(xù)可擴(kuò)展(多重派發(fā)，multiple dispatch)，Julia 語言圍繞 JIT 編譯組織生態(tài)系統(tǒng)使這一點(diǎn)成為可能。

上述兩個(gè)特性的結(jié)合為用戶提供了一個(gè)兼具動(dòng)態(tài)語言靈活性(可擴(kuò)展性)和靜態(tài)語言性能(高效代碼)的系統(tǒng)。

實(shí)際上這也是 PyTorch 一直追求的。我們已經(jīng)從 Julia 語言中獲得了很多靈感，例如 ATEN 的作者 Zachary DeVito 將 PyTorch 調(diào)度器中多重派發(fā)的設(shè)計(jì)靈感歸功于 Julia。

總體來說，我認(rèn)為 Julia 可以作為一個(gè)非常強(qiáng)大的愿景，并且相比于 Julia，PyTorch 本身也有一些優(yōu)勢。例如 Julia 經(jīng)常稱用戶可以直接使用數(shù)學(xué)運(yùn)算編寫循環(huán)并將其編譯為高效代碼，而我們不需要嘗試這樣做，因?yàn)槲覀兊膬?nèi)核非常復(fù)雜，在任何情況下都能實(shí)現(xiàn)最佳的低級(jí)別實(shí)現(xiàn)。

為什么不直接使用 Julia?因?yàn)槲覀兗认胍?Julia 的愿景，也想要 Python 強(qiáng)大的生態(tài)系統(tǒng)。這個(gè)方向具有巨大的潛力，但我們也有很多要做的工作和許多未解決的設(shè)計(jì)問題。我對(duì)接下來的發(fā)展感到非常興奮。