剛剛，F(xiàn)acebook 通過 PyTorch 官方博客宣布：PyTorch 1.6 正式發(fā)布！新版本增加了一個 amp 子模塊，支持本地自動混合精度訓(xùn)練。Facebook 還表示，微軟已擴大了對 PyTorch 社區(qū)的參與，現(xiàn)在擁有 PyTorch 在 Windows 上的開發(fā)和維護所有權(quán)。

相比于以往的 PyTorch 版本，本次即將發(fā)布的 PyTorch 1.6 有哪些吸引人的地方呢？

總的來說，PyTorch 1.6 版本包括許多新的 API、用于性能改進和性能分析的工具，以及對基于分布式數(shù)據(jù)并行（DDP）和遠程過程調(diào)用（RPC）的分布式訓(xùn)練的重大更新。一些亮點包括：

在英偉達的幫助下增加了對自動混合精度（AMP）訓(xùn)練的本地支持，并且具有穩(wěn)定的功能；

增加了對 TensorPipe 的本地支持；

在前端 API 增加了對復(fù)雜張量的支持；

提供張量級內(nèi)存消耗信息的新分析工具；

分布式數(shù)據(jù)并行（DDP）訓(xùn)練和遠程過程調(diào)用（RPC）包的大量改進和新功能。

PyTorch 官方博客表示，從此版本開始，PyTorch 的特性將分為 Stable（穩(wěn)定版）、Beta（測試版）和 Prototype（原型版）。需要注意的是，Prototype 特性不包含在二進制包中，但可以通過使用 Nightly 從源代碼構(gòu)建或通過編譯器標(biāo)志（compiler flag）來使用。

此外，F(xiàn)acebook 還宣布，他們將把 Windows 版 PyTorch 的開發(fā)維護權(quán)移交給微軟。

在 Windows 系統(tǒng)上運行 PyTorch 一直都是一種不愉快的體驗，顯然微軟也看到了這一點。他們在 Pytorch 的博客中表示：

「在 PyTorch 1.6 中，我們?yōu)楹诵?PyTorch 及其域庫提供了與 Linux 相同的測試覆蓋率，同時將教程測試自動化，以此來改進 Windows 的核心質(zhì)量。在 PyTorch 社區(qū)的幫助下，我們將測試覆蓋范圍添加到三個域庫中：TorchVision、TorchText 和 TorchAudio。在 PyTorch 的后續(xù)版本中，我們將繼續(xù)改進。根據(jù)收到的社區(qū)反饋，下一步的改進方向應(yīng)該會聚焦于分布式訓(xùn)練支持和更好的 pip 安裝體驗。」

除了本地 Windows 體驗，在今年的 Build 2020 大會上，微軟還宣布了一個為 WSL 提供 GPU 計算支持的計劃，PyTorch 將在其中起到不小的作用。現(xiàn)階段，WSL2 已獲得對 GPU 的初始支持，其中就包含對 PyTorch 的支持，WSL 用戶可以直接運行本地 PyTorch 程序，進行機器學(xué)習(xí)，不需要傳統(tǒng)的虛擬機或雙引導(dǎo)設(shè)置。

性能與分析

[STABLE] 自動混合精度（AMP）訓(xùn)練

AMP 使用戶可以輕松啟用自動混合精度訓(xùn)練，從而在 Tensor Core GPU 上實現(xiàn)更高的性能并節(jié)省多達 50％的內(nèi)存。使用本地支持的 torch.cuda.amp API，AMP 為混合精度提供了方便的方法，其中某些運算使用 torch.float32 (float)。其他運算使用 torch.float16(half)。有些運算，如線性層和卷積，在 float16 中要快得多。而另一些運算，比如縮減，通常需要 float32 的動態(tài)范圍。混合精度嘗試將每個運算與其相應(yīng)的數(shù)據(jù)類型相匹配。

[BETA] FORK/JOIN 并行

新版本增加了對語言級構(gòu)造的支持，以及對 TorchScript 代碼中粗粒度并行的運行時的支持。這種支持對于一些情況非常有用，比如在集成中并行運行模型，或者并行運行循環(huán)網(wǎng)絡(luò)的雙向組件，它還允許為任務(wù)級并行釋放并行架構(gòu)（例如多核 CPU）的計算能力。

TorchScript 程序的并行執(zhí)行是通過 torch.jit.fork 和 torch.jit.wait 兩個 primitive 實現(xiàn)的。下面的例子展示了 foo 的并行執(zhí)行：

[BETA] 內(nèi)存分析器

「torch.autograd.profiler」API 現(xiàn)在包含一個可以讓你檢查 CPU 和 GPU 模型內(nèi)不同算子的張量內(nèi)存開銷的內(nèi)存分析器。

該 API 的用法如下所示：

分布式訓(xùn)練 & RPC

[BETA] 用于 RPC 的 TENSORPIPE 后端

PyTorch 1.6 為 RPC 模塊引入了一個新的后端，它利用了 TensorPipe 庫（一個針對機器學(xué)習(xí)的 tensor-aware 點對點通信 primitive，旨在補充 PyTorch 中分布式訓(xùn)練的現(xiàn)有 primitive）。TensorPipe 的成對和異步特性使其能夠應(yīng)用于數(shù)據(jù)并行之外的新的網(wǎng)絡(luò)范式：客戶端 - 服務(wù)器方法以及和模型和 pipeline 并行訓(xùn)練。

[BETA] DDP+RPC

PyTorch Distributed 支持兩種強大的范式：用于對模型進行完全同步數(shù)據(jù)并行訓(xùn)練的 DDP 和支持分布式模型并行的 RPC 框架。在此之前，這兩個特性是獨立工作的，用戶不能混用它們來嘗試混合并行范式。

從 PyTorch 1.6 開始，該框架允許 DDP 和 RPC 無縫協(xié)作，這樣用戶就可以結(jié)合這兩種技術(shù)來實現(xiàn)數(shù)據(jù)并行和模型并行。

[BETA] RPC - 異步用戶函數(shù)

RPC 異步用戶函數(shù)（ Asynchronous User Function）支持執(zhí)行用戶定義函數(shù)時在服務(wù)器端生成和恢復(fù)的能力。在此特性之前，當(dāng)被調(diào)用方處理請求時，一個 RPC 線程將一直等待，直到用戶函數(shù)返回。

前端 API 更新

[BETA] 復(fù)數(shù)

Pythorch1.6 版本提供了對復(fù)雜張量的 beta 級支持。包括 torch.complex64 和 torch.complex128 dtypes。

復(fù)數(shù)在數(shù)學(xué)和工程中經(jīng)常出現(xiàn)，特別是在信號處理中，復(fù)值神經(jīng)網(wǎng)絡(luò)是一個活躍的研究領(lǐng)域。復(fù)張量的 beta 版將支持通用的 PyTorch 和復(fù)張量功能，以及 Torchaudio、ESPne 等所需的功能。

更新的域庫

TORCHVISION 0.7

torchvision 0.7 引入了兩個新的預(yù)訓(xùn)練語義分割模型，即 FCN ResNet50 和 DeepLabV3 ResNet50，它們都在 COCO 上進行了訓(xùn)練，并且使用的內(nèi)存占用空間小于 ResNet101。此外還引入了 AMP（自動混合精度），該功能可為不同的 GPU 運算自動選擇浮點精度，從而在保持精度的同時提高性能。

TORCHAUDIO 0.6

torchaudio 現(xiàn)在正式支持 Windows，微軟負(fù)責(zé) Windows 版本。此版本還引入了一個新模塊（包含 wav2letter）、若干新功能（contrast, cvm, dcshift, overdrive, vad, phaser, flanger, biquad）、新數(shù)據(jù)集（GTZAN，CMU）和一個新的可選 sox 后端，支持 TorchScript。