如今，當(dāng)人們談?wù)撈鹕墒?AI（GenAI）時(shí)，GPU 以及相應(yīng)的性能和訪問性幾乎是繞不過的話題。而英偉達(dá)又是 GPU 的代名詞，在國際 GPU 市場上占據(jù)絕對優(yōu)勢的份額。同時(shí)，近年來 AMD 也逐漸崛起，占有了一定市場份額。

不過，AMD 與英偉達(dá)仍存在較大差距。此前市場調(diào)研機(jī)構(gòu) Jon Peddie Research 發(fā)布的 2022 年 GPU 市場數(shù)據(jù)統(tǒng)計(jì)報(bào)告顯示，英偉達(dá) PC GPU 出貨量高達(dá) 3034 萬塊，是 AMD 的近 4.5 倍。

就英偉達(dá)而言，其 GPU 與生成式 AI 的緊密聯(lián)系絕非偶然。一直以來，英偉達(dá)認(rèn)識到需要利用工具和應(yīng)用來幫助擴(kuò)展自己的市場。因此，英偉達(dá)為人們獲取自身硬件設(shè)置了非常低的門檻，包括 CUDA 工具包和 cuDNN 優(yōu)化庫等。

在被稱為硬件公司之外，正如英偉達(dá)應(yīng)用深度學(xué)習(xí)研究副總裁 Bryan Catanzaro 所言，「很多人不知道的一點(diǎn)是，英偉達(dá)的軟件工程師比硬件工程師還要多?！?/span>

可以說，英偉達(dá)圍繞其硬件構(gòu)建了強(qiáng)大的軟件護(hù)城河。雖然 CUDA 不開源，但免費(fèi)提供，并處于英偉達(dá)的嚴(yán)格控制之下。英偉達(dá)從中受益，但也給那些希望通過開發(fā)替代硬件搶占 HPC 和生成式 AI 市場的公司和用戶帶來了挑戰(zhàn)。

「城堡地基」上的建筑

我們知道，為生成式 AI 開發(fā)的基礎(chǔ)模型數(shù)量持續(xù)增長，其中很多是開源的，可以自由使用和共享，如 Meta 的 Llama 系列大模型。這些模型需要大量資源（如人力和機(jī)器）來構(gòu)建，并且局限于擁有大量 GPU 的超大規(guī)模企業(yè)，比如 AWS、微軟 Azure、Google Cloud、Meta Platforms 等。此外其他公司也購買大量 GPU 來構(gòu)建自己的基礎(chǔ)模型。

從研究的角度來看，這些模型很有趣，可以用于各種任務(wù)。但是，對更多生成式 AI 計(jì)算資源的預(yù)期使用和需求越來越大，比如模型微調(diào)和推理，前者將特定領(lǐng)域的數(shù)據(jù)添加到基礎(chǔ)模型中，使之適合自己的用例；后者在微調(diào)后，實(shí)際使用（即問問題）需要消耗資源。

這些任務(wù)需要加速計(jì)算的參與，即 GPU。顯而易見的解決方案是購買更多的英偉達(dá) GPU。但隨著供不應(yīng)求，AMD 迎來了很好的機(jī)會。英特爾和其他一些公司也準(zhǔn)備好進(jìn)入這一市場。隨著微調(diào)和推理變得更加普遍，生成式 AI 將繼續(xù)擠壓 GPU 的可用性，這時(shí)使用任何 GPU（或加速器）都比沒有 GPU 好。

放棄英偉達(dá)硬件意味著其他供應(yīng)商的 GPU 和加速器必須支持 CUDA 才能運(yùn)行很多模型和工具。AMD 通過 HIP（類 CUDA）轉(zhuǎn)換工具使這一情況成為可能。

PyTorch 放下軟件護(hù)城河「吊橋」

在 HPC 領(lǐng)域，支持 CUDA 的應(yīng)用程序統(tǒng)治著 GPU 加速的世界。使用 GPU 和 CUDA 時(shí)，移植代碼通?？梢詫?shí)現(xiàn) 5-6 倍的加速。但在生成式 AI 中，情況卻截然不同。

最開始，TensorFlow 是使用 GPU 創(chuàng)建 AI 應(yīng)用的首選工具，它既可以與 CPU 配合使用，也能夠通過 CUDA 實(shí)現(xiàn)加速。不過，這一情況正在快速發(fā)生改變。

PyTorch 成為了 TensorFlow 的強(qiáng)有力替代品，作為一個(gè)開源機(jī)器學(xué)習(xí)庫，它主要用于開發(fā)和訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型。

最近 AssemblyAI 的一位開發(fā)者 educator Ryan O’Connor 在一篇博客中指出，在流行的 HuggingFace 網(wǎng)站上，92% 的可用模型都是 PyTorch 獨(dú)有的。

此外如下圖所示，機(jī)器學(xué)習(xí)論文的比較也顯示出放棄 TensorFlow、轉(zhuǎn)投 PyTorch 的顯著趨勢。

當(dāng)然，PyTorch 底層對 CUDA 進(jìn)行調(diào)用，但不是必需的，這是因?yàn)?PyTorch 將用戶與底層 GPU 架構(gòu)隔離開來。AMD 還有一個(gè)使用 AMD ROCm 的 PyTorch 版本，它是一個(gè)用于 AMD GPU 編程的開源軟件堆棧。

現(xiàn)在，對于 AMD GPU 而言，跨越 CUDA 護(hù)城河就像使用 PyTorch 一樣簡單。

推理的本能

在 HPC 和生成式 AI 中，配有 H100 GPU 共享內(nèi)存的英偉達(dá) 72 核、且基于 ARM 的 Grace-Hopper 超級芯片（以及 144 核 Grace-Grace 版本）備受期待。

迄今，英偉達(dá)發(fā)布的所有基準(zhǔn)測試表明，該芯片的性能比通過 PCIe 總線連接和訪問 GPU 的傳統(tǒng)服務(wù)器要好得多。Grace-Hopper 是面向 HPC 和生成式 AI 的優(yōu)化硬件，有望在微調(diào)和推理方面得到廣泛應(yīng)用，需求預(yù)計(jì)會很高。

而 AMD 從 2006 年（于當(dāng)年收購了顯卡公司 ATI）就已經(jīng)出現(xiàn)了帶有共享內(nèi)存的 CPU-GPU 設(shè)計(jì)。從 Fusion 品牌開始，很多 AMD x86_64 處理器都作為 APU（加速處理單元）的組合 CPU/GPU 來實(shí)現(xiàn)。

AMD 推出的 Instinct MI300A 處理器（APU）將與英偉達(dá)的 Grace-Hopper 超級芯片展開競爭。集成的 MI300A 處理器將最多提供 24 個(gè) Zen4 核心，并結(jié)合 CDNA 3 GPU 架構(gòu)和最多 192GB 的 HBM3 內(nèi)存，為所有 CPU 和 GPU 核心提供了統(tǒng)一的訪問內(nèi)存。

可以說，芯片級緩存一致性內(nèi)存減少了 CPU 和 GPU 之間的數(shù)據(jù)移動，消除了 PCIe 總線瓶頸，提升了性能和能效。

AMD 正在為模型推理市場準(zhǔn)備 MI300A 處理器。如 AMD CEO 蘇姿豐所言，「實(shí)際上，得益于架構(gòu)上的一些選擇，我們認(rèn)為自己將成為推理解決方案的行業(yè)領(lǐng)導(dǎo)者?！?/span>

對于 AMD 和很多其他硬件供應(yīng)商而言，PyTorch 已經(jīng)在圍繞基礎(chǔ)模型的 CUDA 護(hù)城河上放下了吊橋。AMD 的 Instinct MI300A 處理器將打頭陣。

生成式 AI 市場的硬件之戰(zhàn)將憑借性能、可移植性和可用性等多因素來取勝。未來鹿死誰手，尚未可知。