deepseek開源周，繼Flash-MLA之后，開源了第二彈DeepEP。

畫外音：上一頓還沒(méi)消化完，新的大餐又來(lái)了。

今天簡(jiǎn)單聊聊：

• 吃瓜：DeepEP是干嘛的？
• 技術(shù)：DeepEP是怎么做到的？
• 普通人有什么用：對(duì)寫提示詞有什么啟示？

一、DeepEP是干嘛的？ 

DeepEP，Distributed Expert Parallel Communication Library，是為混合專家MOE與并行專家EP量身定制（tailored）的通信庫(kù)（communication library）。

1. DeepEP通訊庫(kù)能達(dá)到什么效果？

• 降低延時(shí)；
• 提升吞吐量；

其背后就是：訓(xùn)練/計(jì)算更快，成本更低，模型迭代更快。

二、它是怎么做到的？ 

核心思路：優(yōu)化MOE混合專家節(jié)點(diǎn)間的數(shù)據(jù)分發(fā)與合并。

1. 什么是混合專家MOE？

混合專家，Mixture of Experts，該模型思路不再追求大而全，轉(zhuǎn)而追求多而專精。它會(huì)將任務(wù)動(dòng)態(tài)路由給各個(gè)領(lǐng)域?qū)＜遥⒏鱾€(gè)領(lǐng)域?qū)＜业妮敵鲞M(jìn)行組合。

舉個(gè)容易理解的例子。

• 大而全模型：全棧工程師。
• 混合專家模型：Java，F(xiàn)E，QA，DBA，OP工程師...

2. 有了MOE之后，對(duì)LLM的架構(gòu)有什么影響？

(1) 學(xué)習(xí)與訓(xùn)練階段

之前：追求多參數(shù)

如今：訓(xùn)練多專家Expert（例如：1萬(wàn)個(gè)專家，每個(gè)專家單一職責(zé)SRP）

(2) 計(jì)算與執(zhí)行階段

之前：收到提示詞input，一上來(lái)就干

如今：

• 先判斷，需要幾個(gè)專家（分類任務(wù)，很容易）；
• 動(dòng)態(tài)路由（需要一個(gè)門控網(wǎng)絡(luò)作為協(xié)調(diào)者，Gating Network），分發(fā)任務(wù)給專家，專家并行計(jì)算；
• 組合專家輸出， 協(xié)調(diào)者再統(tǒng)籌輸出；

新的模式，不管是訓(xùn)練階段還是執(zhí)行階段，專家節(jié)點(diǎn)之間都需要進(jìn)行大量的通訊，而DeepEP就好比節(jié)點(diǎn)間的智能物流：

• NVLink優(yōu)化，好比建成城際高鐵，負(fù)責(zé)同一節(jié)點(diǎn)內(nèi)專家高速通訊，交換數(shù)據(jù)，帶寬高達(dá)160GB/s，接近硬件極限；
• RDMA優(yōu)化，好比建成跨城磁懸浮，負(fù)責(zé)跨節(jié)點(diǎn)專家高速通訊，跨節(jié)點(diǎn)直接訪問(wèn)內(nèi)存，帶寬高達(dá)50GB/s；
• FP8優(yōu)化，低精度運(yùn)算，好比貨物壓縮，更省空間，能交換更多信息；

這些優(yōu)化對(duì)deepseek非常的重要：

• 專家分發(fā)（Dispatch）：數(shù)據(jù)快速精準(zhǔn)分配給多個(gè)專家；
• 數(shù)據(jù)合并（Combine）：匯總各個(gè)專家的處理結(jié)果，統(tǒng)籌形成最終數(shù)據(jù)；

三、對(duì)我們普通人寫提示詞有什么啟示？

為了充分發(fā)揮deepseek的混合專家MOE的最大潛力，可以顯性告訴它，你希望它扮演哪些專家角色來(lái)回復(fù)問(wèn)題。

(1) bad case：如何設(shè)計(jì)高并發(fā)高可用系統(tǒng)？

這樣的提示詞，你會(huì)得到一個(gè)泛泛而談的回答。

(2) good case：假設(shè)你是由以下專家組成的團(tuán)隊(duì)：

• 分布式領(lǐng)域系統(tǒng)架構(gòu)師
• 電商領(lǐng)域業(yè)務(wù)架構(gòu)師
• 資深DBA

請(qǐng)分別從各自領(lǐng)域提出5項(xiàng)技術(shù)選型建議，并組合設(shè)計(jì)方案滿足每秒10萬(wàn)次交易，數(shù)據(jù)滿足最終一致性，故障恢復(fù)時(shí)間小于30秒的系統(tǒng)。

沒(méi)錯(cuò)，你不止可以讓deepseek扮演一個(gè)角色，你甚至可以讓他扮演專家團(tuán)的多個(gè)角色。此時(shí)處理時(shí)間并不會(huì)顯著增長(zhǎng)，但輸出質(zhì)量會(huì)顯著提高。

節(jié)省訓(xùn)練資源，縮短回復(fù)時(shí)間，提升回答質(zhì)量，多個(gè)專家還能夠交叉驗(yàn)證（大而全模型可能過(guò)擬合），deepseek創(chuàng)新性使用MOE之后，很快就得到了業(yè)界的廣泛認(rèn)可與復(fù)制。

稍作總結(jié)：

• DeepEP，是為混合專家MOE量身定制的通信庫(kù)；
• DeepEP的核心思路是：優(yōu)化MOE混合專家節(jié)點(diǎn)間的數(shù)據(jù)分發(fā)與合并；
• 提示詞層面：通過(guò)讓deepseek顯示扮演專家團(tuán)的多個(gè)角色，能充分發(fā)揮deepseek的混合專家MOE機(jī)制，不會(huì)顯著增加處理時(shí)間，但能顯著提升輸出質(zhì)量；

一切的一切，提示詞只有適配了AI的認(rèn)知模式，才能最高效的發(fā)揮最大的作用。

知其然，知其所以然。

思路比結(jié)論更重要。