MLCommons官方公布針對(duì)60億參數(shù)大語(yǔ)言模型及計(jì)算機(jī)視覺(jué)與自然語(yǔ)言處理模型GPT-J的 MLPerf推理v3.1的性能基準(zhǔn)測(cè)試結(jié)果，Intel CPU處理器、AI加速器表現(xiàn)亮眼，在AI推理方面相當(dāng)有競(jìng)爭(zhēng)力。

此前6月份披露的MLCommons AI訓(xùn)練結(jié)果、Hugging Face性能基準(zhǔn)測(cè)試成績(jī)表明，Intel Gaudi2 AI加速器在先進(jìn)的視覺(jué)語(yǔ)言模型上，表現(xiàn)完全可以超越NVIDIA H100 股加速器，堪稱(chēng)可唯一替代NVIDIA H100/A100的可行方案，最新結(jié)果再次驗(yàn)證了這一點(diǎn)。

GPT-J模型上，Intel Gaudi2加速器的GPT-J-99、GPT-J-99.9服務(wù)器查詢(xún)和離線樣本的推理性能分別為78.58次/秒、84.08 次/秒。

對(duì)比競(jìng)品，H100相較于Gaudi2只有1.09 倍（服務(wù)器）、1.28 倍（離線）的性能領(lǐng)先優(yōu)勢(shì)，Gaudi2對(duì)比A100的優(yōu)勢(shì)則可達(dá)2.4倍（服務(wù)器）、2倍（離線）的性能。

值得一提的是，Gaudi2提交的結(jié)果采用FP8數(shù)據(jù)類(lèi)型，準(zhǔn)確率達(dá)到99.9％。

Gaudi2軟件每6-8周就會(huì)更新一次，將繼續(xù)提升MLPerf基準(zhǔn)測(cè)試性能，并擴(kuò)大模型覆蓋范圍。

60億參數(shù)AI模型測(cè)試：Intel 2.4倍領(lǐng)先！唯一可替代NVIDIA

同時(shí)，Intel提交了基于Sapphire Rapids第四代至強(qiáng)可擴(kuò)展處理器的7個(gè)推理基準(zhǔn)測(cè)試，其中就包括GPT-J模型。

結(jié)果顯示，包括視覺(jué)、語(yǔ)言處理、語(yǔ)音和音頻翻譯模型，以及更大的DLRM v2深度學(xué)習(xí)推薦模型、ChatGPT-J模型在內(nèi)，四代至強(qiáng)在處理通用AI負(fù)載時(shí)性能非常出色。

截至目前，Intel仍是唯一一家使用行業(yè)標(biāo)準(zhǔn)的深度學(xué)習(xí)生態(tài)系統(tǒng)軟件提交公開(kāi)CPU結(jié)果的廠商。

根據(jù)最新結(jié)果，使用GPT-J對(duì)大約1000-1500字新聞稿進(jìn)行100字總結(jié)的任務(wù)，四代至強(qiáng)在離線模式下每秒完成兩段，實(shí)時(shí)服務(wù)器模式下則可完成每秒一段。

此外，Intel首次提交了至強(qiáng)CPU Max處理器的MLPerf測(cè)試結(jié)果，其集成最多64GB HBM3高帶寬內(nèi)存，對(duì)于GPT-J而言是唯一能夠達(dá)到99.9％準(zhǔn)確度的CPU，非常適合精度要求極高的應(yīng)用。