譯者 | 布加迪

審校 | 重樓

英偉達(dá)是AI熱潮的最大受益者，GPU銷(xiāo)售額帶來(lái)了大量現(xiàn)金。現(xiàn)在，該公司正采取前所未有的計(jì)劃，在2027年之前每年發(fā)布一款GPU。

英偉達(dá)首席執(zhí)行官黃仁勛在今年6月的臺(tái)北國(guó)際電腦展上表示：“我們的基本理念非常簡(jiǎn)單。構(gòu)建整個(gè)數(shù)據(jù)中心規(guī)模的架構(gòu)，并以一年為周期將部分產(chǎn)品出售給您。我們竭力將各項(xiàng)技術(shù)推向極限。”

微軟和Meta等公司正投資數(shù)十億美元新建數(shù)據(jù)中心，希望獲得最新最好的GPU。因此，英偉達(dá)正以更快的速度創(chuàng)新硬件技術(shù)。

金融分析師認(rèn)為，英偉達(dá)的股價(jià)處于不可持續(xù)的價(jià)位。就像互聯(lián)網(wǎng)熱潮一樣，AI熱潮也將消退，英偉達(dá)的股價(jià)到時(shí)也將回落。但英偉達(dá)的GPU和技術(shù)進(jìn)步對(duì)軟件開(kāi)發(fā)的影響將是永久性的。

GPU路線圖

英偉達(dá)的目標(biāo)是讓GPU成為操作或運(yùn)營(yíng)中的必備硬件，就像過(guò)去幾年的CPU一樣。英偉達(dá)首席執(zhí)行官黃仁勛認(rèn)為，CPU還不夠，需要GPU更快地處理數(shù)據(jù)。

黃仁勛在最近一次活動(dòng)中說(shuō)：“軟件惰性是計(jì)算機(jī)中最重要的因素。當(dāng)一臺(tái)電腦在架構(gòu)上與所有已經(jīng)創(chuàng)建的軟件向后兼容時(shí)，你就能以極快的速度進(jìn)入市場(chǎng)。”

英偉達(dá)的旗艦GPU：Hopper為微軟、Meta和OpenAI支持AI項(xiàng)目。OpenAI和微軟在英偉達(dá)的Hopper H100及其前身A100 GPU上提供GPT-4和4.0。

微軟已經(jīng)訂購(gòu)了下一代GPU：Blackwell，最早將于明年部署到其數(shù)據(jù)中心。但由于英偉達(dá)在制造Blackwell芯片時(shí)遇到了技術(shù)難題，因此這款芯片的發(fā)貨日期成了問(wèn)題。

SemiAnalysis的分析師在一份報(bào)告中表示：“這是以前從未實(shí)現(xiàn)過(guò)的計(jì)算和功率密度，考慮到所需的系統(tǒng)級(jí)復(fù)雜性，這種提升已被證明頗具挑戰(zhàn)性。”

分析師表示，Blackwell面臨全面的挑戰(zhàn)，包括輸電、過(guò)熱、泄漏和復(fù)雜性。

Blackwell擁有2080億個(gè)晶體管，這使其成為有史以來(lái)最復(fù)雜的芯片之一。一臺(tái)機(jī)架式服務(wù)器可以容納多達(dá)72個(gè)Blackwell，英偉達(dá)正在提供通過(guò)以太網(wǎng)連接多達(dá)576個(gè)GPU的功能。這涉及龐大的AI算力。

英偉達(dá)正在將Blackwell GPU與其基于ARM的Grace CPU配對(duì)。英偉達(dá)現(xiàn)推出配備這些芯片的服務(wù)器，可以在云端享用。英偉達(dá)試圖終結(jié)將其GPU與英特爾或AMD的x86處理器配對(duì)的傳統(tǒng)編程模式。

英偉達(dá)明年將交付Blackwell Ultra，與Blackwell一樣，該芯片也將含有HBM3E，但容量更大。此后，英偉達(dá)在2026年將發(fā)布Rubin平臺(tái)，該平臺(tái)將包括全新的GPU和CPU，并支持HBM4內(nèi)存。2027年，英偉達(dá)將發(fā)布Rubin Ultra GPU。

所有新的GPU都配有更快的網(wǎng)絡(luò)芯片和互連技術(shù)，以實(shí)現(xiàn)更快的服務(wù)器和芯片通信。黃仁勛說(shuō)：“這基本上就是英偉達(dá)在構(gòu)建的產(chǎn)品，所有豐富的軟件都建立在此基礎(chǔ)上。”

這對(duì)開(kāi)發(fā)人員意味著什么？

英偉達(dá)未來(lái)的GPU預(yù)示著向混合精度計(jì)算轉(zhuǎn)變，這種計(jì)算結(jié)合了傳統(tǒng)計(jì)算和AI計(jì)算。

該公司的GPU正放棄對(duì)64位精度的專(zhuān)注，64位精度對(duì)精確計(jì)算至關(guān)重要。相反，它在開(kāi)發(fā)硬件功能，以提升概率AI計(jì)算中使用的低精度4位、8位和16位數(shù)據(jù)類(lèi)型。

英偉達(dá)在其GPU中加入了更多用于矩陣乘法的Tensor Cores（張量核心）。一種名為GEMM的算法是英偉達(dá)AI模型的核心，它充分利用了張量核心，并與CUDA中的庫(kù)兼容，以便程序員與GPU核心進(jìn)行交互。

首先，英偉達(dá)想要拉攏更多的開(kāi)發(fā)人員。開(kāi)發(fā)人員需要了解C++和Fortran以便GPU編程，但英偉達(dá)希望支持更多的編程語(yǔ)言，包括Rust和Julia。

英偉達(dá)正在將Python打造成CUDA并行編程框架中的優(yōu)先者，包括擴(kuò)展SDK和框架對(duì)Python的訪問(wèn)。該公司不會(huì)停止為其C++庫(kù)搖旗吶喊，這些庫(kù)是解鎖英偉達(dá)的部分GPU功能所必需的。

不過(guò)要注意：一旦開(kāi)人員深陷CUDA，就很難脫身了。

電源效率

英偉達(dá)聲稱(chēng)其GPU綠色節(jié)能，但芯片業(yè)內(nèi)人士一直開(kāi)玩笑稱(chēng)，英偉達(dá)唯一綠色的地方就是它的徽標(biāo)。英偉達(dá)的Blackwell GPU耗電1200瓦，需要液冷。

即將推出的GPU耗電量會(huì)很大，但也提供最快的運(yùn)算結(jié)果。Blackwell將包括支持新的低精度數(shù)據(jù)類(lèi)型：FP4和FP6這項(xiàng)功能，從而進(jìn)一步提升每瓦特性能。

英偉達(dá)還在宣傳更高效的編程，以減少交付計(jì)算結(jié)果所需要的循環(huán)。即將推出的GPU將包括軟件層，可以將任務(wù)重定向到正確的核心。這也將減輕程序員的壓力。

AI超級(jí)模型

英偉達(dá)的GPU和軟件戰(zhàn)略正在并行開(kāi)發(fā)。其目標(biāo)是建立龐大的GPU集群，能夠處理擁有數(shù)萬(wàn)億個(gè)參數(shù)的AI模型。

與此同時(shí)，英偉達(dá)正在為“AI超級(jí)模型”制定一個(gè)框架。開(kāi)發(fā)人員使用大語(yǔ)言模型后，通過(guò)插入定制模型、護(hù)欄、檢索增強(qiáng)生成（RAG）及其他工具對(duì)其進(jìn)行優(yōu)化。

英偉達(dá)已為其A超級(jí)模型策略?xún)?yōu)化了開(kāi)源Llama 3.1。開(kāi)發(fā)人員可以為L(zhǎng)lama 3.1模型配備一系列適配器、大語(yǔ)言低階適應(yīng)（LoRA）模型和護(hù)欄，以創(chuàng)建自己的模型。

英偉達(dá)有一套復(fù)雜的流程來(lái)構(gòu)建AI超級(jí)模型。開(kāi)發(fā)人員需要找出優(yōu)化模型的基本要素，輸入本地化數(shù)據(jù)，并確定適配器。開(kāi)發(fā)人員需要實(shí)施提取相關(guān)數(shù)據(jù)并將其推送到矢量數(shù)據(jù)庫(kù)的程序，矢量數(shù)據(jù)庫(kù)評(píng)估信息，并向用戶(hù)發(fā)送響應(yīng)。

開(kāi)發(fā)人員需要完善CUDA，并了解NIM（英偉達(dá)推理微服務(wù)），這是英偉達(dá)網(wǎng)站上的云原生AI容器。

競(jìng)爭(zhēng)激烈

英偉達(dá)的競(jìng)爭(zhēng)對(duì)手英特爾和AMD正想盡一切辦法讓開(kāi)發(fā)人員遠(yuǎn)離英偉達(dá)的CUDA。

包括英特爾和富士通在內(nèi)的眾多公司已組成了一個(gè)名為UXL基金會(huì)的聯(lián)盟，以開(kāi)發(fā)CUDA的開(kāi)源替代品。UXL的并行編程框架基于英特爾的OneAPI構(gòu)建。目標(biāo)很簡(jiǎn)單：代碼方面的一些變化將允許程序在英偉達(dá)和非英偉達(dá)AI加速器上運(yùn)行。

當(dāng)然，UXL還提供了一種工具來(lái)剝離CUDA代碼，以便程序在其他AI芯片上運(yùn)行，包括FPGA和ASIC等。

AMD有ROCm，盡管大肆宣傳，但還遠(yuǎn)未成熟。

所有競(jìng)爭(zhēng)對(duì)手都使用開(kāi)源工具，并不使用內(nèi)部工具在專(zhuān)有硬件上創(chuàng)建運(yùn)行AI的神經(jīng)網(wǎng)絡(luò)。

但英偉達(dá)憑借CUDA領(lǐng)先競(jìng)爭(zhēng)對(duì)手近10年。CUDA始于2006年，用于高性能計(jì)算，后來(lái)成為AI領(lǐng)域的一股強(qiáng)大力量。

原文標(biāo)題：Nvidia’s Hardware Roadmap and Its Impact on Developers，作者：Agam Shah