3 月 17 日消息，摩爾線程官方今日發文宣布，已正式開源 MT-MegatronLM 與 MT-TransformerEngine 兩大 AI 框架。這兩大框架通過深度融合 FP8 混合訓練策略和高性能算子庫，在國產全功能 GPU 上實現混合并行訓練和推理，提升了訓練效率與穩定性。

據介紹，MT-MegatronLM 是面向全功能 GPU 的開源混合并行訓練框架，支持 dense 模型、多模態模型及 MoE（混合專家）模型的高效訓練；MT-TransformerEngine 主要用于 Transformer 模型的訓練與推理優化，通過算子融合、并行加速策略等技術，釋放摩爾線程全功能 GPU 高密度計算的潛力和 memory bound 算子效率。兩大框架的技術突破體現在硬件適配與算法創新的深度協同：

• 混合并行訓練：支持 Dense、多模態及 MoE 模型的混合并行訓練，可靈活應對不同模型架構的復雜運算場景；
• FP8 混合訓練策略：結合摩爾線程 GPU 原生支持的 FP8 混合精度訓練策略，能夠有效提升訓練效率；
• 高性能算子庫：通過高性能算子庫 muDNN 與通信庫 MCCL 的深度集成，系統性優化了計算密集型任務與多卡協同的通信開銷；同時結合摩爾線程開源 Simumax 庫，可自動進行并行策略搜索，并針對不同模型和加速環境 spec 最大化并行訓練性能；
• 異常訓練處理：框架內置的 rewind 異常恢復機制，可自動回滾至最近穩定節點繼續訓練，大幅提升大規模訓練的穩定性；
• 完整的兼容性：兩個框架兼容 GPU 主流生態，既保障了現有生態的平滑遷移，也為開發者構建自有的 AI 技術棧提供了底層支撐。

實際應用效果如下：

• 高效訓練：在全功能 GPU 集群上，Llama3 8B 模型的訓練任務，可以利用 FP8 在 loss 幾乎無損的情況下 MFU 達到 90% 以上；（如下圖所示）

▲ 利用摩爾線程 FP8 混合精度加速技術在 loss 無損的情況下得到 28% 的加速。

• 復現 DeepSeek 滿血版訓練：摩爾線程已深度集成并開源對 DeepSeek 并行算法 DualPipe 的高效支持，MT-DualPipe 可以完整接入 MT-Megatron 框架和 MT-TransformerEngine 框架，成功實現 DeepSeek V3 訓練流程的完整復現，支持 MLA、MTP 及多種專家平衡策略；
• 性能大幅優化：通過多種 Transformer 算子融合技術，顯著提升了內存帶寬利用率，有效緩解 memory bound 瓶頸，進一步釋放國產 GPU 的硬件潛力。

摩爾線程官方表示將持續優化 MT-MegatronLM 與 MT-TransformerEngine 框架，并引入系列功能，具體如下：

• Dual Pipe / ZeroBubble 并行策略：進一步降低氣泡率，提升并行訓練效率；
• 多種 FP8 優化策略：獨創的 FP8 優化策略，提高訓練的性能和穩定性；
• 異步 checkpoint 策略：提高訓練過程中的容錯能力和效率；
• 優化后的重計算策略：減少計算和顯存開銷，提高訓練速度；
• 容錯訓練策略：獨創的容錯訓練算法，增強訓練過程中的容錯能力；
• 集成摩爾線程 FlashMLA 和 DeepGemm 庫：進一步釋放摩爾線程 GPU 的算力和 FP8 計算能力，提升計算性能和效率。

IT之家附開源地址如下：

• MT-MegatronLM 開源地址：https://github.com/MooreThreads/MT-MegatronLM
• MT-TransformerEngine 開源地址：https://github.com/MooreThreads/MT-TransformerEngine
• 摩爾線程 Simumax 開源地址：https://github.com/MooreThreads/SimuMax