[[186777]]

在過去的兩年里，為了滿足機(jī)器學(xué)習(xí)的需要，特別是深度神經(jīng)網(wǎng)絡(luò)的需要，出現(xiàn)了一股對創(chuàng)新體系架構(gòu)研究的熱潮。我們已經(jīng)在《The Next Platform》中報道了無論是用于訓(xùn)練側(cè)還是推理側(cè)的許多架構(gòu)可選方案，并且正是因為所做的這些，我們開始注意到一個有趣的趨勢。一些面向機(jī)器學(xué)習(xí)市場定制 ASIC 的公司似乎都在沿著同一個思路進(jìn)行開發(fā)——以存儲器作為處理的核心。

存儲器內(nèi)處理(PIM)架構(gòu)其實(shí)不是什么新東西，但是因為存儲器內(nèi)相對簡單的邏輯單元很好地迎合了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需求(特別是卷積網(wǎng)絡(luò))，所以存儲器正變成未來下一個平臺。我們已經(jīng)介紹過了很多公司的深度學(xué)習(xí)芯片，比如 Nervana Systems(2016 年被英特爾收購)和 Wave Computing，以及其它有望碾壓 AlexNet 等 benchmark 的新架構(gòu)，存儲器都是其性能與效率的關(guān)鍵驅(qū)動因素。

今天，我們還要為這種存儲器驅(qū)動的深度學(xué)習(xí)體系架構(gòu)家族再介紹一個新成員。那就是 Neurostream，它由博洛尼亞大學(xué)提出，在某些方面與 Nervana、Wave、以及其它采用下一代存儲器(比如 Hybrid Memory Cube (HMC) 和 High Bandwidth Memory (HBM))的深度學(xué)習(xí)架構(gòu)很相似。而且該架構(gòu)還提供了一種新思路，可以進(jìn)一步深入了解我們剛才提到的那些公司是如何設(shè)計深度學(xué)習(xí)架構(gòu)的。在過去的介紹里，我們已經(jīng)從 Nervana、Wave 等發(fā)布的架構(gòu)中提取出了一些設(shè)計細(xì)節(jié)，而這次架構(gòu)的設(shè)計團(tuán)隊為我們帶來了有關(guān)為什么存儲器驅(qū)動型設(shè)備將會成為未來深度學(xué)習(xí)定制硬件主流更深入的見解。

「雖然卷積神經(jīng)網(wǎng)絡(luò)是計算密集型算法，但它們的可擴(kuò)展性和能量效率被主存儲器極大地限制住了，而這些網(wǎng)絡(luò)中的參數(shù)和通道都比較大，所以都需要存儲在主存中。鑒于上述原因，僅僅改進(jìn)卷積網(wǎng)絡(luò)加速器的性能和效率而不考慮主存儲器的瓶頸將會是一個錯誤的設(shè)計決策。」

Neurostream 把它的存儲器內(nèi)處理方法用在擴(kuò)展卷積神經(jīng)網(wǎng)絡(luò)上。該設(shè)計采用了一種 Hybrid Memory Cube 的變種，他們稱之為「Smart Memory Cubes」。「Smart Memory Cubes」增強(qiáng)了被稱為 NeuroCluster 的多核 PIM 平臺。NeuroCluster 采用了基于 NeuroStream 浮點(diǎn)協(xié)處理器(面向卷積密集型計算)和通用處理器 RISC-V 的模塊化設(shè)計。他們同樣也提到了一種易于 DRAM 陣列化的機(jī)制及其可擴(kuò)展的編程環(huán)境。該架構(gòu)最吸引人的地方在于它用僅占晶片面積 8% 的 HMC 獲得了 240GFLOPS 的性能，而其總功耗僅為 2.5 瓦。

「該平臺能夠以較小的系統(tǒng)功耗使得卷積神經(jīng)網(wǎng)絡(luò)計算任務(wù)能完全下放到存儲器組中。這意味著主 SoC 中的計算邏輯能夠被釋放出來干其它事。而且，相對于一個基本 HMC 系統(tǒng)，其額外的開銷幾乎可以忽略不計。」

該設(shè)計團(tuán)隊正在大肆宣傳其 Neurostream 架構(gòu)的每瓦特性能指數(shù)。「在單個三維堆疊封裝中我們達(dá)到了每瓦特 22.5GFLOPS(每秒浮點(diǎn)計算數(shù) 22.5G 次)的計算能量效率，這是當(dāng)前能買到*** GPU 性能的 5 倍以上。」他們同樣提到「少量的系統(tǒng)級功耗升高和可以忽略不計的面積增長使得該 PIM 系統(tǒng)成為一種既節(jié)約成本又高效利用能量的解決方案，通過一個連接 4 個 SMC 的網(wǎng)絡(luò)，其可以輕松擴(kuò)展到 955 GFLOPS。」他們用來對比的 GPU 是 Nvidia Tesla K40，該 GPU 在 235 瓦功率下可以達(dá)到 1092 GFLOPS 的處理速度。「Neuro 陣列可以在 42.8 瓦達(dá)到 955GFLOPS，且超過了其對手 4.8 倍的能量使用效率，」該團(tuán)隊同時評論說，由于降低了對串行鏈路的需求，該架構(gòu)還可以擴(kuò)展至更多節(jié)點(diǎn)。

Neurostream 的創(chuàng)造者們期望通過進(jìn)行一些面向應(yīng)用的調(diào)優(yōu)和降低算術(shù)計算精度的方法來使它的能效對比獲得進(jìn)一步增長。就像他們著重提到的，「降低計算精度有望使功耗降低達(dá) 70%。」在他們的下一次改進(jìn)里，他們將著重在硅片上實(shí)現(xiàn)帶有四個 NeuroClusters 的架構(gòu)，這將使它能夠監(jiān)控其自身是如何反向傳播和訓(xùn)練的。

我們已經(jīng)介紹過了許多協(xié)處理器、ASIC、GPU、以及采用針對深度學(xué)習(xí)框架進(jìn)行額外軟件優(yōu)化的 x86 處理器的性能和效率的 benchmark 比分。盡管我們對這些都半信半疑，盡我們可能地去對比，但時間最終會告訴我們哪種體系架構(gòu)會最終勝出。這里想說的不在于 benchmark 比分，而在于體系結(jié)構(gòu)本身。Neuro 陣列就像 Nervana、Wave、以及其它方法一樣，都把 HMC 和 HBM 用到了***——利用有限的存儲器內(nèi)處理能力，結(jié)果已經(jīng)差不多能很好地處理卷積神經(jīng)網(wǎng)絡(luò)的計算了。

不僅如此，對該類架構(gòu)的更深入觀察，還能幫助我們更好地評估我們提到的機(jī)器學(xué)習(xí)芯片初創(chuàng)公司正在做的事。我們期待經(jīng)過初創(chuàng)公司和學(xué)術(shù)研究的共同努力，2017 年將開辟設(shè)計許多在深度學(xué)習(xí)框架領(lǐng)域內(nèi)的存儲器驅(qū)動型處理器。