揭秘ChatGPT背后天價超算！上萬顆英偉達A100，燒光微軟數億美元
ChatGPT能成為如今火遍全球的頂流模型，少不了背后超強的算力。
數據顯示，ChatGPT的總算力消耗約為3640PF-days（即假如每秒計算一千萬億次，需要計算3640天）。
那么，作為依托的那臺微軟專為OpenAI打造的超級計算機，又是如何誕生的呢？
周一，微軟在官博上連發(fā)兩文，親自解密這臺超級昂貴的超級計算機，以及Azure的重磅升級——加入成千上萬張英偉達最強的H100顯卡以及更快的InfiniBand網絡互連技術。
基于此，微軟也官宣了最新的ND H100 v5虛擬機，具體規(guī)格如下：
- 8個NVIDIA H100 Tensor Core GPU通過下一代NVSwitch和NVLink 4.0互聯(lián)
- 每個GPU有400 Gb/s的NVIDIA Quantum-2 CX7 InfiniBand，每個虛擬機有3.2Tb/s的無阻塞胖樹型網絡
- NVSwitch和NVLink 4.0在每個虛擬機的8個本地GPU之間具有3.6TB/s的雙向帶寬
- 第四代英特爾至強可擴展處理器
- PCIE Gen5到GPU互連，每個GPU有64GB/s帶寬
- 16通道4800MHz DDR5 DIMM
數億美元撐起來的算力
大約五年前，OpenAI向微軟提出了一個大膽的想法——建立一個可以永遠改變人機交互方式的人工智能系統(tǒng)。
當時，沒人能想到，這將意味著AI可以用純語言創(chuàng)造出人類所描述的任何圖片，人類可以用聊天機器人來寫詩、寫歌詞、寫論文、寫郵件、寫菜單……
為了建立這個系統(tǒng)，OpenAI需要很多算力——可以真正支撐起超大規(guī)模計算的那種。
但問題是，微軟能做到嗎？
畢竟，當時既沒有能滿足OpenAI需要的硬件，也無法確定在Azure云服務中構建這樣龐大的超級計算機會不會直接把系統(tǒng)搞崩。
隨后，微軟便開啟了一段艱難的摸索。
微軟Azure高性能計算和人工智能產品負責人Nidhi Chappell（左）和微軟戰(zhàn)略合作伙伴關系高級總監(jiān)Phil Waymouth（右）
為了構建支持OpenAI項目的超級計算機，它斥資數億美元，在Azure云計算平臺上將幾萬個Nvidia A100芯片連接在一起，并改造了服務器機架。
此外，為了給OpenAI量身打造這個超算平臺，微軟十分盡心，一直在密切關注著OpenAI的需求，隨時了解他們在訓練AI時最關鍵的需要。
這么一個大工程，成本究竟是多少呢？微軟負責云計算和人工智能的執(zhí)行副總裁Scott Guthrie不愿透露具體數目，但他表示，「可能不止」幾億美元。
OpenAI出的難題
微軟負責戰(zhàn)略合作伙伴關系的高管Phil Waymouth指出，OpenAI訓練模型所需要的云計算基礎設施規(guī)模，是業(yè)內前所未有的。
呈指數級增長的網絡GPU集群規(guī)模，超過了業(yè)內任何人試圖構建的程度。
微軟之所以下定決心與OpenAI 合作，是因為堅信，這種前所未有的基礎設施規(guī)模將改變歷史，造出全新的AI，和全新的編程平臺，為客戶提供切實符合他們利益的產品和服務。
現(xiàn)在看來，這幾億美元顯然沒白花——寶押對了。
在這臺超算上，OpenAI能夠訓練的模型越來越強大，并且解鎖了AI工具令人驚嘆的功能，幾乎開啟人類第四次工業(yè)革命的ChatGPT，由此誕生。
非常滿意的微軟，在1月初又向OpenAI狂砸100億美元。
可以說，微軟突破AI超算界限的雄心，已經得到了回報。而這背后體現(xiàn)的，是從實驗室研究，到AI產業(yè)化的轉變。
目前，微軟的辦公軟件帝國已經初具規(guī)模。
ChatGPT版必應，可以幫我們搜索假期安排；Viva Sales中的聊天機器人可以幫營銷人員寫郵件；GitHub Copilot可以幫開發(fā)者續(xù)寫代碼；Azure OpenAI 服務可以讓我們訪問OpenAI的大語言模型，還能訪問Azure的企業(yè)級功能。
和英偉達聯(lián)手
其實，在去年11月，微軟就曾官宣，要與Nvidia聯(lián)手構建「世界上最強大的AI超級計算機之一」，來處理訓練和擴展AI所需的巨大計算負載。
這臺超級計算機基于微軟的Azure云基礎設施，使用了數以萬計個Nvidia H100和A100Tensor Core GPU，及其Quantum-2 InfiniBand網絡平臺。
Nvidia在一份聲明中表示，這臺超級計算機可用于研究和加速DALL-E和Stable Diffusion等生成式AI模型。
隨著AI研究人員開始使用更強大的GPU來處理更復雜的AI工作負載，他們看到了AI模型更大的潛力，這些模型可以很好地理解細微差別，從而能夠同時處理許多不同的語言任務。
簡單來說，模型越大，你擁有的數據越多，你能訓練的時間越長，模型的準確性就越好。
但是這些更大的模型很快就會到達現(xiàn)有計算資源的邊界。而微軟明白，OpenAI需要的超級計算機是什么樣子，需要多大的規(guī)模。
這顯然不是說，單純地購買一大堆GPU并將它們連接在一起之后，就可以開始協(xié)同工作的東西。
微軟Azure高性能計算和人工智能產品負責人Nidhi Chappell表示：「我們需要讓更大的模型訓練更長的時間，這意味著你不僅需要擁有最大的基礎設施，你還必須讓它長期可靠地運行。」
Azure全球基礎設施總監(jiān)Alistair Speirs表示，微軟必須確保它能夠冷卻所有這些機器和芯片。比如，在較涼爽的氣候下使用外部空氣，在炎熱的氣候下使用高科技蒸發(fā)冷卻器等。
此外，由于所有的機器都是同時啟動的，所以微軟還不得不考慮它們和電源的擺放位置。就像你在廚房里同時打開微波爐、烤面包機和吸塵器時可能會發(fā)生的情況，只不過是數據中心的版本。
大規(guī)模AI訓練
完成這些突破，關鍵在哪里？
難題就是，如何構建、操作和維護數萬個在高吞吐量、低延遲InfiniBand網絡上互連的共置GPU。
這個規(guī)模，已經遠遠超出了GPU和網絡設備供應商測試的范圍，完全是一片未知的領域。沒有任何人知道，在這種規(guī)模下，硬件會不會崩。
微軟Azure高性能計算和人工智能產品負責人Nidhi Chappell解釋道，在LLM的訓練過程中，涉及到的大規(guī)模計算通常會被劃分到一個集群中的數千個GPU上。
在被稱為allreduce的階段，GPU之間會互相交換它們所做工作的信息。此時就需要通過InfiniBand網絡進行加速，從而讓GPU在下一塊計算開始之前完成。
Nidhi Chappell表示，由于這些工作跨越了數千個GPU，因此除了要確保基礎設施的可靠外，還需要大量很多系統(tǒng)級優(yōu)化才能實現(xiàn)最佳的性能，而這是經過許多代人的經驗總結出來的。
所謂系統(tǒng)級優(yōu)化，其中就包括能夠有效利用GPU和網絡設備的軟件。
在過去的幾年里，微軟已經開發(fā)出了這種技術，在使訓練具有幾十萬億個參數的模型的能力得到增長的同時，降低了訓練和在生產中提供這些模型的資源要求和時間。
Waymouth指出，微軟和合作伙伴也一直在逐步增加GPU集群的容量，發(fā)展InfiniBand網絡，看看他們能在多大程度上推動保持GPU集群運行所需的數據中心基礎設施，包括冷卻系統(tǒng)、不間斷電源系統(tǒng)和備用發(fā)電機。
微軟AI平臺公司副總裁Eric Boyd表示，這種為大型語言模型訓練和下一波AI創(chuàng)新而優(yōu)化的超算能力，已經可以在Azure云服務中直接獲得。
并且微軟通過與OpenAI的合作，積累了大量經驗，當其他合作方找來、想要同樣的基礎設施時，微軟也可以提供。
現(xiàn)在，微軟的Azure數據中心已經覆蓋了全球60多個地區(qū)。
全新虛擬機：ND H100 v5
在上面這個基礎架構上，微軟一直在繼續(xù)改進。
今天，微軟就官宣了全新的可大規(guī)模擴展虛擬機，這些虛擬機集成了最新的NVIDIA H100 Tensor Core GPU 和 NVIDIA Quantum-2 InfiniBand 網絡。
通過虛擬機，微軟可以向客戶提供基礎設施，根據任何AI任務的規(guī)模進行擴展。據微軟稱，Azure的新ND H100 v5 虛擬機為開發(fā)者提供卓越的性能，同時調用數千個GPU。
