英偉達下場，首次優化DeepSeek-R1！B200性能狂飆25倍，碾壓H100
當FP4的魔法與Blackwell的強大算力相遇，會碰撞出怎樣的火花？
答案是：推理性能暴漲25倍，成本狂降20倍！
隨著DeepSeek-R1本地化部署的爆火，英偉達也親自下場，開源了首個基于Blackwell架構的優化方案——DeepSeek-R1-FP4。
在新模型的加持下，B200實現了高達21,088 token每秒的的推理吞吐量，相比于H100的844 token每秒，提升了25倍。
與此同時，每token的成本也實現了20倍的降低。
通過在Blackwell架構上應用TensorRT DeepSeek優化，英偉達讓具有FP4生產級精度的模型，在MMLU通用智能基準測試中達到了FP8模型性能的99.8%。
DeepSeek-R1首次基于Blackwell GPU優化
目前，英偉達基于FP4優化的DeepSeek-R1檢查點現已在Hugging Face上開源。
模型地址：https://huggingface.co/nvidia/DeepSeek-R1-FP4
后訓練量化
模型將Transformer模塊內的線性算子的權重和激活量化到了FP4，適用于TensorRT-LLM推理。
這種優化將每個參數從8位減少到4位，從而讓磁盤空間和GPU顯存的需求減少了約1.6倍。
使用TensorRT-LLM部署
要使用TensorRT-LLM LLM API部署量化后的FP4權重文件，并為給定的提示生成文本響應，請參照以下示例代碼：
硬件要求：需要支持TensorRT-LLM的英偉達GPU（如B200），并且需要8個GPU來實現tensor_parallel_size=8的張量并行。
性能優化：代碼利用FP4量化、TensorRT引擎和并行計算，旨在實現高效、低成本的推理，適合生產環境或高吞吐量應用。
from tensorrt_llm import SamplingParams
from tensorrt_llm._torch import LLM
def main():
prompts = [
"Hello, my name is",
"The president of the United States is",
"The capital of France is",
"The future of AI is",
]
sampling_params = SamplingParams(max_tokens=32)
llm = LLM(model="nvidia/DeepSeek-R1-FP4", tensor_parallel_size=8, enable_attention_dp=True)
outputs = llm.generate(prompts, sampling_params)
# Print the outputs.
for output in outputs:
prompt = output.prompt
generated_text = output.outputs[0].text
print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")
# The entry point of the program need to be protected for spawning processes.
if __name__ == '__main__':
main()對于此次優化的成果，網友表示驚嘆。
「FP4魔法讓AI未來依然敏銳！」網友Isha評論道。
網友algorusty則聲稱，有了這次的優化后，美國供應商能夠以每百萬token 0.25美元的價格提供R1。
「還會有利潤。」
網友Phil則將這次的優化與DeepSeek本周的開源5連發結合了起來。
「這展示了硬件和開源模型結合的可能性?！顾硎?。
DeepSeek全面開源
如今DeepSeek持續5天的「開源周」已經進行到了第3天。
周一，他們開源了FlashMLA。這是DeepSeek專為英偉達Hopper GPU打造的高效MLA解碼內核，特別針對變長序列進行了優化，目前已正式投產使用。
周二開源了DeepEP，這是一個專為混合專家系統（MoE）和專家并行（EP）設計的通信庫。
周三開源的是DeepGEMM。這是一個支持稠密和MoE模型的FP8 GEMM（通用矩陣乘法）計算庫，可為V3/R1的訓練和推理提供強大支持。
總的來說，不管是英偉達開源的DeepSeek-R1-FP4，還是DeepSeek開源的三個倉庫，都是通過對英偉達GPU和集群的優化，來推動AI模型的高效計算和部署。
