近年來大量芯片進(jìn)入市場，旨在加速人工智能和機(jī)器學(xué)習(xí)工作負(fù)載?；诓煌臋C(jī)器學(xué)習(xí)算法，這些芯片通常專注于幾個關(guān)鍵領(lǐng)域，但它們大多有一個共同的限制——芯片大小。

兩年前，Cerebras 揭開了芯片設(shè)計領(lǐng)域的一場革命：他們研發(fā)了一款名為 Wafer Scale Engine（WSE）的芯片，擁有 1.2 萬億個晶體管，是英偉達(dá) GPU Titan V 的 57 倍。WSE 的尺寸比一臺 iPad 還要大。Cerebras 的「暴力美學(xué)」曾引發(fā)人們驚呼：「WSE 的晶體管數(shù)量已經(jīng)超過人類大腦中的神經(jīng)元了！」Cerebras 也因此在業(yè)界聞名。

今天，該公司又宣布其下一代芯片 Wafer Scale Engine 2（WSE 2）將于今年第三季度上市，采用 7nm 制程工藝，晶體管數(shù)量翻倍到 2.6 萬億個，含有 850000 個 AI 核心。

WSE-2：46225 平方毫米，2.6 萬億個晶體管。圖源：https://cerebras.net/

Cerebras 一直致力于將機(jī)器學(xué)習(xí)問題邏輯解決方案的作用發(fā)揮到極致。2015 年 Andrew Feldman 成立該公司時，訓(xùn)練神經(jīng)網(wǎng)絡(luò)需要花費(fèi)較多的時間，大型網(wǎng)絡(luò)則需要數(shù)周。最大的瓶頸是數(shù)據(jù)必須在處理器和外部 DRAM 存儲器之間進(jìn)行多次傳輸，既浪費(fèi)時間又消耗能源。WSE 的研發(fā)團(tuán)隊(duì)指出：我們可以擴(kuò)大芯片，使它與 AI 處理器內(nèi)核一起容納所需的所有數(shù)據(jù)。隨著自然語言處理、圖像識別等領(lǐng)域的發(fā)展，神經(jīng)網(wǎng)絡(luò)也變得非常龐大，AI 領(lǐng)域需要一個非常大的芯片。有多大？盡可能大，這意味著是整塊晶圓，46225 平方毫米。

CEO Feldman 表示：「當(dāng)你想做出改變時，總是會遇到物理設(shè)計上的挑戰(zhàn)。所有的東西都與幾何有關(guān)。這真的很難，但臺積電是我們非凡的合作伙伴?！?/p>

7 納米技術(shù)的發(fā)展意味著巨大的進(jìn)步，但據(jù) Feldman 表示，該公司還對其 AI 核心的微架構(gòu)進(jìn)行了改進(jìn)。他不愿透露細(xì)節(jié)，但表示在與客戶合作一年多后，Cerebras 吸取了一些經(jīng)驗(yàn)教訓(xùn)，并將其整合到新的核心中。

WSE 2：7 納米制程工藝、2.6 萬億個晶體管

WSE 2 采用臺積電 7 納米制程工藝。這使得其可以按比例縮小，并能夠在一定程度上縮小 SRAM，WSE 2 上具有 850000 個 AI 核心。WSE 2 的晶片尺寸與 WSE 保持一致，但幾乎所有功能都翻倍增加，如下表所示：

與一代 WSE 一樣，WSE 2 在 46225 平方毫米的硅片上擁有數(shù)十萬個 AI 核心。WSE 2 擁有 850000 個核心，2.6 萬億個晶體管——相比之下，市場上第二大的 AI CPU 約為 826 平方毫米，擁有 0.054 萬億個晶體管。相比于 Ampere A100 的 40MB 內(nèi)存，Cerebras 引入了 40GB SRAM 的板載內(nèi)存，是前者的 1000 倍。

圖中是 WSE 1，WSE 2 與其外觀相同，但核心數(shù)量翻倍。

其核心通過一個帶有 FMAC 數(shù)據(jù)路徑的 2D 網(wǎng)格（2D Mesh）進(jìn)行連接。Cerebras 與 WSE 的目標(biāo)是提供一個通過創(chuàng)新專利設(shè)計的單一平臺，該平臺允許用于 AI 計算的更大處理器，現(xiàn)已擴(kuò)展到更廣泛的 HPC 工作負(fù)載中。

WSE 2 以第一代為基礎(chǔ)

第一代 WSE 芯片擁有 1.2 萬億個晶體管，其數(shù)量是英偉達(dá)旗艦 GPU Titan V 的 57 倍，使用臺積電 16 納米制程工藝打造，面積 46,225 平方毫米，包含 400,000 個核心，片上存儲高達(dá) 18G，功耗 1.5 萬瓦（約等于 6 臺電磁爐的功率），內(nèi)存帶寬 9PB / 秒，通信結(jié)構(gòu)帶寬 100PB / 秒。此外，第一代 WSE 還實(shí)現(xiàn)了 3000 倍的速度提升以及 10000 倍的存儲帶寬擴(kuò)展。

WSE-2 設(shè)計的關(guān)鍵是自定義圖形編譯器，它采用 PyTorch 或 TensorFlow，并將每一層映射到芯片的物理部分，并允許數(shù)據(jù)流進(jìn)行異步計算，擁有如此大的處理器意味著不會浪費(fèi)能源。編譯器和處理器在設(shè)計時也考慮到了稀疏性，無論批處理大小如何，都允許高利用率，或者允許參數(shù)搜索算法同時運(yùn)行。

WSE 2 與第一代相比如何？

兩者相比，芯片本身的大小沒有改變，300 毫米仍然是大規(guī)模生產(chǎn)中的最大晶圓尺寸，因此 WSE 2 芯片的外形尺寸沒有改變，但是 AI 核心翻了一倍。WSE 2 仍然被劃分成一個 7×12 的矩形陣列。

WSE 2（左）與 WSE 1（右）對比。

此外，承載 WSE 2 的計算機(jī)系統(tǒng) CS-2 也沒有太大變化。CS-2 旨在實(shí)現(xiàn)快速、靈活的訓(xùn)練和低延遲的數(shù)據(jù)中心推斷。目前，CS-2 由 WSE-2 提供動力，與其他數(shù)據(jù)中心 AI 解決方案相比，CS-2 具有更高的計算密度、更快的內(nèi)存和更高的帶寬互連，并使用領(lǐng)先的 ML 框架進(jìn)行編程。

迅速成長的初創(chuàng)公司 Cerebras

Cerebras Systems 公司 2015 年在美國加州成立，聯(lián)合創(chuàng)始人及 CEO Andrew Feldman 此前曾創(chuàng)立服務(wù)器芯片公司 SeaMicro。

Cerebras 聯(lián)合創(chuàng)始人及 CEO Andrew Feldman

經(jīng)過幾年的迅速發(fā)展，該公司的規(guī)模已基本翻倍，在硅谷，圣地亞哥，多倫多和東京擁有約 300 名工程師。