重磅 | Torch7團隊開源PyTorch：Python優先的深度學習框架
Torch7 團隊開源了 PyTorch。據官網介紹，PyTorch 是一個 Python 優先的深度學習框架，能夠在強大的 GPU 加速基礎上實現張量和動態神經網絡。
- 官網：http://pytorch.org
- GitHub：https://github.com/pytorch/pytorch
PyTorch 是一個 Python 軟件包，其提供了兩種高層面的功能：
- 使用強大的 GPU 加速的 Tensor 計算(類似 numpy)
- 構建于基于 tape 的 autograd 系統的深度神經網絡
如有需要，你也可以復用你最喜歡的 Python 軟件包(如 numpy、scipy 和 Cython)來擴展 PyTorch。目前這個版本是早期的 Beta 版，我們很快就會加入更多的功能。
一、PyTorch 介紹
在粒度層面(granular level)上，PyTorch 庫包含了以下組件：
使用 PyTorch 的原因通常有二：
- 作為 numpy 的替代，以便使用強大的 GPU;
- 將其作為一個能提供***的靈活性和速度的深度學習研究平臺。
進一步闡述如下：
1. 一個支持 GPU 的 Tensor 庫
如果你使用 numpy，那么你就使用過 Tensor(即 ndarray)。
PyTorch 提供了支持 CPU 和 GPU 的 Tensor，可以極大地加速計算。
我們提供了各種各樣的用于加速的張量例程(tensor routine)，可以滿足你的各種科學計算需求，比如 slicing、索引、數學運算、線性代數、reduction。而且它們非常快!
2. 動態神經網絡：基于 tape 的 autograd
PyTorch 有一種獨特的神經網絡構建方法：使用和重放 tape recorder。TensorFlow、Theano、Caffe 和 CNTK 等大部分框架對世界的視角都是靜態的，讓人們必須先構建一個神經網絡，然后一次又一次地使用同樣的結構;如果要想改變該網絡的行為，就必須完全從頭開始。
但使用 PyTorch，通過一種我們稱之為「Reverse-mode auto-differentiation(反向模式自動微分)」的技術，你可以零延遲或零成本地任意改變你的網絡的行為。我們靈感來自關于這一主題的許多研究論文以及當前和過去的研究成果，比如 autograd、autograd、Chainer 等。
- autograd：https://github.com/twitter/torch-autograd
- autograd：https://github.com/HIPS/autograd
- Chainer：http://chainer.org/
盡管這項技術并非 PyTorch 獨有，但它仍然是到目前為止最快的實現。你能為你的瘋狂研究獲得***的速度和***的靈活性。
3. Python 優先
PyTorch 不是簡單地在整體 C++框架上綁定 Python。它深入構建在 Python 之上。你可以像使用 numpy / scipy / scikit-learn 那樣輕松地使用 PyTorch。你可以用你喜歡的庫和包(如 Cython 和 Numba)在 Python 中編寫新的神經網絡層。我們的目標是盡量讓你不用重新發明輪子。
4. 命令式體驗
PyTorch 的設計思路是線性、直觀且易于使用。當你需要執行一行代碼時，它會忠實執行。PyTorch 沒有異步的世界觀。當你打開調試器，或接收到錯誤代碼和 stack trace 時，你會發現理解這些信息是非常輕松的。Stack-trace 點將會直接指向代碼定義的確切位置。我們不希望你在 debug 時會因為錯誤的指向或異步和不透明的引擎而浪費時間。
5. 快速精益
PyTorch 具有輕巧的框架。我們集成了各種加速庫，如 Intel MKL、英偉達的 CuDNN 和 NCCL 來優化速度。在其核心，它的 CPU 和 GPU Tensor 與神經網絡后端(TH、THC、THNN、THCUNN)被編寫成了獨立的庫，帶有 C99 API。
這種配置是成熟的，我們已經使用了多年。
因此，PyTorch 非常高效——無論你需要運行何種尺寸的神經網絡。
在 PyTorch 中，內存的使用效率相比 Torch 或其它方式都更加高效。我們為 GPU 編寫了自定義內存分配器，以保證深度學習模型在運行時有***的內存效率，這意味著在相同硬件的情況下，你可以訓練比以前更為復雜的深度學習模型。
6. 輕松拓展
編寫新的神經網絡模塊，或與 PyTorch 的 Tensor API 相接的設計都是很直接的，不太抽象。
你可以使用 Torch API 或你喜歡的基于 numpy 的庫(比如 Scipy)來通過 Python 寫新的神經網絡層。
如果你想用 C++ 寫網絡層，我們提供了基于 cffi(http://cffi.readthedocs.io/en/latest/)的擴展 API，其非常有效且有較少的樣板文件。
不需要寫任何 wrapper code。這里有一個示例：https://github.com/pytorch/extension-ffi
二、安裝
1. 二進制
Anaconda
- conda install pytorch torchvision -c soumith
2. 來自源
Anaconda 環境的說明。
如果你想要用 CUDA 支持編譯、安裝：
- NVIDIA CUDA 7.5 或之上的版本
- NVIDIA CuDNN v5.x
3. 安裝可選依賴包
- export CMAKE_PREFIX_PATH=[anaconda root directory]
- conda install numpy mkl setuptools cmake gcc cffi
- conda install -c soumith magma-cuda75 # or magma-cuda80 if CUDA 8.0
4. 安裝 PyTorch
- export MACOSX_DEPLOYMENT_TARGET=10.9 # if OSX
- pip install -r requirements.txt
- python setup.py install
三、開始使用
從以下三點開始學習使用 PyTorch：
- 教程：開始了解并使用 PyTorch 的教程(https://github.com/pytorch/tutorials)。
- 案例：跨所有領域的輕松理解 PyTorch 代碼(https://github.com/pytorch/examples)。
- API 參考：http://pytorch.org/docs/
四、交流
- 論壇：討論實現、研究等(http://discuss.pytorch.org)
- GitHub 問題反饋：bug 通知、特征要求、安裝問題、RFC、想法等。
- Slack：通常聊天、在線討論、合作等(https://pytorch.slack.com/)。
- 郵件訂閱沒有騷擾信件、單向郵件推送 PyTorch 的重要通知。訂閱：http://eepurl.com/cbG0rv。
五、發布和貢獻
PyTorch 的發布周期(主版本)為 90 天。目前的版本是 v0.1.6 Beta，我們期望在發布前盡量減少 bug。如果你發現了錯誤，歡迎向我們提交：
https://github.com/pytorch/pytorch/issues
我們歡迎所有形式的貢獻。如果你希望幫助解決 bug，請直接上手，無需多作討論。
如果你愿意為 PyTorch 提供新功能、實用函數或核心擴展，請先開一個 issue 與大家討論一下。請注意：在未經討論的情況下提交的 PR 可能會導致退回，因為我們可能會采取不同的解決方式。
在下一個版本中，我們計劃推出三大新功能：
1、分布式 PyTorch
(這里已經有一個嘗試性的實現了：https://github.com/apaszke/pytorch-dist)
2、反反向(Backward of Backward)：在反向傳播的過程中進行過程優化。一些過去和最近的研究如 Double Backprop 和 Unrolled GANs 會需要這種特性。
3、用于 autograd 的 Lazy Execution Engine：這將允許我們可以通過引入緩存和 JIT 編譯器來優化 autograd 代碼。
六、開發團隊
PyTorch 是一個社區驅動的項目，由經驗豐富的工程師和研究者開發。
目前，PyTorch 由 Adam Paszke、Sam Gross 與 Soumith Chintala 牽頭開發。其他主要貢獻者包括 Sergey Zagoruyko、Adam Lerer、Francisco Massa、Andreas Kopf、James Bradbury、Zeming Lin、田淵棟，Guillaume Lample、Marat Dukhan、Natalia Gimelshein 等人。
Note：本項目與 hughperkins/pytorch 有相同的名字，但無關聯。
【本文是51CTO專欄機構機器之心的原創譯文，微信公眾號“機器之心( id: almosthuman2014)”】
