PyTorch 1.7發布，支持CUDA 11、Windows分布式訓練

作者：機器之心 2020-10-30 09:04:44

昨日，PyTorch 團隊發布 PyTorch 1.7 版本。該版本增添了很多新特性，如支持 CUDA 11、Windows 分布式訓練、增加了支持快速傅里葉變換(FFT)的新型 API 等。

PyTorch 1.7 版本包含很多新的 API，如支持 NumPy 兼容的 FFT 操作、性能分析工具，以及對基于分布式數據并行(DDP)和基于遠程過程調用(RPC)的分布式訓練的重要更新。

此外，一些特性也更新為穩定版，包括自定義 C++ 類、內存分析器、通過自定義類張量對象進行擴展、RPC 中的用戶異步函數，以及 torch.distributed 中的許多其他特性(如 Per-RPC 超時、DDP dynamic bucketing、RRef helper)。

本次更新的亮點包括：

(1) CUDA 11 得到 PyTorch 官方支持;

(2) 對 autograd 分析器，更新和添加了 RPC、TorchScript 和堆棧跟蹤(Stack trace)的分析和性能;

(3) (測試版)通過 torch.fft 支持 NumPy 兼容的 FFT 操作;

(4) 原型版)支持英偉達 A100 GPU 和原生 TF32 格式;

(5) 原型版)支持 Windows 系統上的分布式訓練。

(6) torchvision

(7) torchaudio

(注：從 PyTorch 1.6 版本開始，PyTorch 特性分為 Stable(穩定版)、Beta(測試版)和 Prototype(原型版)。

新特性

PyTorch 1.7 相比之前版本，增加了很多新特性，包括 Python API、C++ API、Autograd、CUDA、量化等多個方面。

例如 Python API 增添了多個新的 namespace、operator 以及 API 擴展，CUDA 增加了 TF32 支持等，量化方面增加了新的量化操作、支持 FP16 量化等。

PyTorch 1.7 部分新特性，詳情參見 https://github.com/pytorch/pytorch/releases/tag/v1.7.0。

開發者對 PyTorch 1.7 的態度

有開發者對 PyTorch 1.7「支持 Windows 上的分布式訓練」這一新功能表示贊賞：

以及樂見于「PyTorch 對 CUDA 11 的支持」：

依然有人趁機表白 PyTorch，并列出偏好 PyTorch 的原因，如報錯易讀、代碼直觀、易于實驗。

當然，版本更迭的路似乎永無止境。有開發者提出了自己的需求，例如 fp32 卷積、TensorFlow 有而 PyTorch 沒有的 Semantic Versioning：

PyTorch1.7發布，支持CUDA11分布式訓練

此時距離 PyTorch 1.6 版本發布僅三個月，不知道 PyTorch 的下一個版本又將帶給我們哪些驚喜。

參考鏈接：

https://pytorch.org/blog/pytorch-1.7-released/
https://github.com/pytorch/pytorch/releases/tag/v1.7.0
https://www.reddit.com/r/MachineLearning/comments/jj4sr7/d_pytorch_17_released_w_cuda_11_new_apis_for_ffts/

【本文是51CTO專欄機構“機器之心”的原創譯文，微信公眾號“機器之心( id: almosthuman2014)”】

責任編輯：趙寧寧來源： 51CTO專欄