ChatGPT持續火爆導致芯片短缺：沒有足夠的計算能力來處理ChatGPT的計算需求，這已經使OpenAI的服務器過載。上一次大規模芯片短缺還是因為為了虛擬貨幣瘋狂挖礦導致的。不過隨著對生成式人工智能需求不斷增加，這一次算力緊張的情況可能會持續相當一段時間。

微軟希望通過一種名為ND H100 v5的新虛擬機產品來填補這一空白，其中包括大批英偉達（Nvidia）代號為Hopper的最新H100 GPU，，用于生成式人工智能應用。

其思路是為研究生成式人工智能的公司提供更高的計算速度，這些公司能夠更深入地挖掘數據，建立關系、推理并預測答案。生成式人工智能尚處于早期階段，但ChatGPT等應用程序大受歡迎的現象已經證明該技術的巨大潛力。

但這項技術也需要巨大的計算能力，微軟正在將其引入Azure云服務。

虛擬機產品可以根據生成式人工智能應用程序的大小進行調整，并可擴展到數千個H100 GPU，GPU之間通過芯片制造商的Quantum-2 InfiniBand技術互連。

Azure上配備H100虛擬機的定價并沒有立即公布。虛擬機的價格因配置而異，一臺具有96個CPU核心、900GB存儲和8個A100 GPU的滿載A100虛擬機每月的成本接近20000美元。

去年ChatGPT剛推出時，英偉達GPU面臨嚴峻考驗。其計算由OpenAI超級計算機承擔，該計算機由Nvidia A100 GPU構建。

但服務器很快被對ChatGPT瘋狂增長的需求淹沒了，用戶抱怨服務器無法及時響應和處理查詢任務。

H100可以縮小生成式人工智能所需的速度差距，生成式人工智能已經被用于醫療保健、機器人和其他行業。各開發公司也在尋求填補最后一公里的空白，并部署一個界面，使人工智能簡單可用，就像ChatGPT一樣。

英偉達和微軟已經在用H100制造一臺人工智能超級計算機。GPU的設計使其能夠最好地與CUDA編碼的應用程序配合使用（CUDA是英偉達的并行編程框架）。產品還包括Triton推理服務器，它將有助于在其GPU環境中部署人工智能模型GPT-3。

微軟開始在其產品中全面嵌入人工智能：在Bing搜索引擎中實現了GPT-3.5的定制版本，這是ChatGPT背后的大型語言模型。微軟正在對Bing AI采取DevOps（開發運營）風格的迭代方法，在這種方法中，應用程序通過了解用戶使用模型時的信息能夠快速更新。Microsoft 365 Copilot則是嵌入了人工智能的原OFFICE套件。WORD、PPT和EXCEL這些我們熟悉的軟件將以全新能力改變傳統工作方法。而這一切的背后，都離不開算力的支持。

新的Azure虛擬機基本配置可以通過英偉達專有的NVLink 4.0互連將八個H100 Tensor Core GPU互連。該配置可以通過Quantum-2互連擴展到更多的GPU。服務器具有Intel的第4代Xeon（Sapphire Rapids）可擴展處理器，通過PCIe Gen5與GPU進行數據傳輸。