IT之家 11 月 21 日消息，微軟 Azure AI 基礎設施迎來升級，推出了 ND H100 v5 虛擬機系列，這款虛擬機配備了英偉達 H100 Tensor Core 圖形處理單元（GPU）和低延遲網(wǎng)絡。

據(jù)介紹，微軟全新發(fā)布 Azure ND H100 v5 虛擬機（VM）系列，現(xiàn)已在美國東部和美國中南部 Azure 區(qū)域提供。

該系列配備了最新的英偉達 H100 Tensor Core GPU 和英偉達 Quantum-2 InfiniBand 網(wǎng)絡，用于應對 AI 工作負載帶來的日益增加的復雜性。作為微軟在 AI 領域深入和持續(xù)投資的一部分，微軟正在利用一個 AI 優(yōu)化的 4K GPU 集群，并將在明年將其擴展到數(shù)十萬個全新的 GPU。

IT之家匯總 ND H100 v5 VM 虛擬機系列的特性：

• AI 超級計算 GPU：配備了八個英偉達 H100 Tensor Core GPU。比起上一代虛擬機，該系列可讓 AI 模型顯著提速。
• 新一代計算機處理單元（CPU）：CPU 性能對于 AI 的訓練和推理至關重要，微軟選擇了第四代英特爾 Xeon Scalable 處理器。
• 低延遲網(wǎng)絡：采用英偉達 Quantum-2 ConnectX-7 InfiniBand，每個 GPU 擁有 400Gb / s、每個 VM 擁有 3.2 Tb / s 的跨節(jié)點帶寬。
• 優(yōu)化主機到 GPU 的性能：通過 PCIe Gen5 提供每個 GPU 64GB/s 的帶寬。
• 大規(guī)模的內(nèi)存和內(nèi)存帶寬：DDR5 內(nèi)存是該系列虛擬機的核心，提供更高的數(shù)據(jù)傳輸速度和效率。

微軟表示，該系列虛擬機使用新的 8 位 FP8 浮點數(shù)據(jù)類型進行矩陣乘法操作時，速度提升了六倍，比前一代的 FP16 更快。ND H100 v5 VM 幫助大型語言模型（如 BLOOM 175B 端到端模型）實現(xiàn)了最高兩倍的推理速度提升。