AMD跑DeepSeek性能超H200！128并發(fā)Token間延遲不超50ms，吞吐量達(dá)H200五倍
DeepSeek-R1掀起新一輪購卡潮的同時，AMD的含金量也上升了。
在AMD的MI300X上跑FP8滿血R1，性能全面超越了英偉達(dá)H200——
相同延遲下吞吐量最高可達(dá)H200的5倍，相同并發(fā)下則比H200高出75%。
這個結(jié)果，一方面歸功于SGLang框架，另一方面則是得益于AMD新優(yōu)化的AI內(nèi)核庫AITER。
AITER可以用來加速GPU訓(xùn)練和推理，AMD副總裁Emad Barsoum直接喊出了AITER is all you need。
還有網(wǎng)友表示，英偉達(dá)CUDA的護(hù)城河要終結(jié)了。
之前著名黑客George Hotz也曾表示自己非?？春肁MD，認(rèn)為只要有好的軟件MI300X表現(xiàn)就能超越H100。
結(jié)果MI300X超額實(shí)現(xiàn)了George的期待，直接把H200給超了。
吞吐翻倍、延遲更低
AMD的測試結(jié)果顯示，MI300X在延遲相似的情況下實(shí)現(xiàn)了H200五倍的吞吐量，超過了每秒7k Tokens。
如果固定并發(fā)數(shù)量，MI300X相同并發(fā)下的吞吐量比H200高75%，延遲降低 60%。
如果需要Token間延遲不超過50毫秒，一個H200節(jié)點(diǎn)可以處理16個并發(fā)請求，MI300X節(jié)點(diǎn)則可以處理128個。
除了AMD自己，也有第三方對H100和MI300X進(jìn)行了對比測試。
結(jié)果除了首個Token延遲出現(xiàn)了一些不穩(wěn)定之外，其余的速度和延遲指標(biāo)都是MI300X全面超過了H100。
看到MI300X的表現(xiàn)，有人拿出了老黃經(jīng)典的那句“買的越多省的越多”，表示現(xiàn)在這句話該讓AMD來說了。
那么，在這些成績的背后，AMD都用了那些技術(shù)呢？
SGLang框架+AMD張量引擎
軟件框架層面，R1在MI300X上取得優(yōu)異表現(xiàn)的關(guān)鍵，是SGLang框架。
SGLang是一個開源大模型推理框架，是開源社區(qū)協(xié)作的一項(xiàng)成果，發(fā)起者是LMSYS，也就是搞大模型競技場的那個組織。
SGLang在GitHub上擁有超過1.2萬星標(biāo)，并且不論AMD還是隔壁英偉達(dá)，以及馬斯克的xAI，都非常青睞這個框架，此外AMD還是SGLang的主要貢獻(xiàn)者之一。
在稍早一些的測試當(dāng)中，使用SGLang在MI300X上運(yùn)行DeepSeek-R1，僅過了兩周就相比于day 0時性能提升到了4倍，吞吐量達(dá)到了每秒5921 Tokens。
前面提到的第三方，也在MI300X上分別用SGLang和vLLM進(jìn)行了測試，結(jié)果SGLang完勝。
實(shí)際上，SGLang一直是DeepSeek模型的一個最佳拍檔，不僅對于AMD，在英偉達(dá)H200上，也能帶來類似的性能提升。
而在硬件層面，MI300X高效運(yùn)行R1的關(guān)鍵，是AMD為ROCm（可以理解為AMD版CUDA）打造的AI張量引擎AITER。
AITER是一個包含大量高性能AI算子的集中式存儲庫，也是一個統(tǒng)一平臺，可以輕松找到優(yōu)化的算子并將其集成到現(xiàn)有框架中。
AITER的基礎(chǔ)架構(gòu)建立在多種底層技術(shù)之上，包括 Triton、CK（計(jì)算內(nèi)核）、ASM（匯編）和 HIP（異構(gòu)可移植性接口）。
它支持各種計(jì)算任務(wù)，例如推理工作負(fù)載、訓(xùn)練內(nèi)核、GEMM（通用矩陣乘法）運(yùn)算和通信內(nèi)核。
它可以讓GEMM的性能提升2倍、MoE性能提升3倍、MLA解碼性能提升17倍、MHA預(yù)填充性能提升14倍。
開啟AITER后，MI300X上DeepSeek-V3的吞吐量是開啟前的兩倍多。
除了框架和硬件的適配，AMD還進(jìn)行了超參數(shù)調(diào)整。
AMD發(fā)現(xiàn)，當(dāng)運(yùn)行具有大量線程（例如128個或更多）的程序時， 由于預(yù)填充吞吐量緩慢，帶來了系統(tǒng)的性能瓶頸。
于是AMD提高了chunked_prefill_size參數(shù)的大小，用更高的內(nèi)存占用換取了預(yù)填充過程的加速。
不過考慮到內(nèi)存容量大本就是MI300X的一大特色，這種選擇也不失為一種更優(yōu)的結(jié)果。
那么，你覺得這次AMD是不是又Yes了呢？
