就在昨天，Kimi宣布要把自家底層的大模型推理架構(gòu)Mooncake開(kāi)源出來(lái)！

有媒體稱該架構(gòu)正是承載了月之暗面Kimi線上80%以上流量的正在用的底層架構(gòu)。

小編立馬求證了一番，的確Github上有提到：Mooncake 正在服務(wù)Kimi平臺(tái)。而且上線還不到一天就已經(jīng)斬獲了1600+ stars。

圖片

開(kāi)源地址：https://github.com/kvcache-ai/Mooncake

1.開(kāi)源最終目標(biāo)：高性能語(yǔ)義存儲(chǔ)的標(biāo)準(zhǔn)接口

“在大模型時(shí)代，更多的數(shù)據(jù)、更大的模型、更長(zhǎng)的上下文窗口帶來(lái)更高的智能，但也對(duì)大模型推理系統(tǒng)的效率提出更高挑戰(zhàn)。如何應(yīng)對(duì)高推理負(fù)載、降低推理成本、降低響應(yīng)延遲成為業(yè)界共同面臨的難題。”

大家都知道，月之暗面在長(zhǎng)文本、深度推理、高并發(fā)等方面一直有著不錯(cuò)的研究和發(fā)布，這一次Kimi選擇在感恩節(jié)將這個(gè)牛逼的技術(shù)開(kāi)源出來(lái)，確實(shí)讓大家感到意外和興奮。

據(jù)月之暗面官方公眾號(hào)介紹，此次是月之暗面聯(lián)合清華大學(xué)等機(jī)構(gòu)開(kāi)源共建大模型推理架構(gòu)Mooncake。

官方文檔還透露了，本次開(kāi)源將采用分階段的方式：

逐步開(kāi)源高性能KVCache多級(jí)緩存Mooncake Store的實(shí)現(xiàn)，同時(shí)針對(duì)各類推理引擎和底層存儲(chǔ)/傳輸資源進(jìn)行兼容。

其中傳輸引擎Transfer Engine現(xiàn)在已經(jīng)在GitHub全球開(kāi)源。

其最終開(kāi)源目標(biāo)是，為大模型時(shí)代打造一種新型高性能內(nèi)存語(yǔ)義存儲(chǔ)的標(biāo)準(zhǔn)接口，并提供參考實(shí)現(xiàn)方案。

月之暗面Kimi工程副總裁許欣然表示：

通過(guò)與清華大學(xué)MADSys實(shí)驗(yàn)室緊密合作，我們共同打造了分離式大模型推理架構(gòu)Mooncake，實(shí)現(xiàn)推理資源的極致優(yōu)化。

Mooncake不僅提升了Kimi的用戶體驗(yàn)，降低了成本，還為處理長(zhǎng)文本和高并發(fā)需求提供了有效的解決方案。

我們相信，通過(guò)與產(chǎn)學(xué)研機(jī)構(gòu)開(kāi)源合作，可以推動(dòng)整個(gè)行業(yè)向更高效的推理平臺(tái)方向發(fā)展。

圖片

實(shí)際上，這個(gè)項(xiàng)目早在今年6月就已啟動(dòng)，當(dāng)時(shí)已受到業(yè)內(nèi)廣泛關(guān)注——

圖片

2.大模型推理架構(gòu)Mooncake核心思路

今年6月24日，月之暗面和清華大學(xué)MADSys實(shí)驗(yàn)室聯(lián)合發(fā)布了Kimi底層的Mooncake推理系統(tǒng)設(shè)計(jì)方案。

在這篇名為《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》的論文中，作者詳細(xì)介紹了Mooncake這種系統(tǒng)架構(gòu)。

該系統(tǒng)基于以KVCache為中心的PD分離和以存換算架構(gòu)，大幅度提升了推理吞吐。

圖片

論文地址：https://arxiv.org/pdf/2407.00079

具體而言，Mooncake采用以KVCache為中心的解耦架構(gòu)，將預(yù)填充集群與解碼集群分離，并充分利用GPU集群中未充分利用的CPU、DRAM和SSD資源，實(shí)現(xiàn)KVCache的解耦緩存。

其核心思路在于以KVCache為中心的調(diào)度程序：

在最大化整體有效吞吐量和滿足與延遲相關(guān)的服務(wù)級(jí)別目標(biāo) (SLO) 要求之間取得平衡

當(dāng)面對(duì)流量高峰期時(shí)，Mooncake通過(guò)早期拒絕策略和預(yù)測(cè)未來(lái)負(fù)載的方法，來(lái)處理超載問(wèn)題。

• 早期拒絕策略

簡(jiǎn)單說(shuō)，其核心思想是在請(qǐng)求實(shí)際開(kāi)始處理之前，根據(jù)當(dāng)前系統(tǒng)的負(fù)載情況預(yù)測(cè)是否有足夠的資源來(lái)處理新的請(qǐng)求。

如果預(yù)測(cè)結(jié)果表明系統(tǒng)資源不足以保證請(qǐng)求的及時(shí)處理，系統(tǒng)就會(huì)在請(qǐng)求到達(dá)之前予以拒絕，從而避免了無(wú)效的資源占用和不必要的延遲。

• 預(yù)測(cè)未來(lái)負(fù)載

在Mooncake中，系統(tǒng)需要能夠預(yù)測(cè)在未來(lái)一段時(shí)間內(nèi)的負(fù)載情況，以便做出更準(zhǔn)確的接受或拒絕請(qǐng)求的決策。

3.如何實(shí)現(xiàn)？

通常來(lái)說(shuō)，這種預(yù)測(cè)會(huì)基于當(dāng)前的請(qǐng)求模式、系統(tǒng)的資源使用情況以及歷史數(shù)據(jù)等信息。

再通過(guò)對(duì)信息的進(jìn)一步分析建模，Mooncake就能夠估計(jì)接下來(lái)的請(qǐng)求處理需求，并據(jù)此調(diào)整其調(diào)度策略。

論文實(shí)驗(yàn)結(jié)果顯示，與基線方法相比，Mooncake在某些模擬場(chǎng)景中可以實(shí)現(xiàn)高達(dá)525%的吞吐量提升，同時(shí)遵守SLO（與延遲相關(guān)的服務(wù)級(jí)別目標(biāo))。

在實(shí)際工作負(fù)載下，Mooncake使Kimi能夠處理75%以上的請(qǐng)求。

圖片

而且據(jù)許欣然在其他場(chǎng)合透露：目前這套系統(tǒng)承載了Kimi線上80%以上的流量。

圖片

4.開(kāi)源陣容相當(dāng)豪華！！！

而現(xiàn)在，為了進(jìn)一步加速該技術(shù)框架的應(yīng)用與推廣，Kimi聯(lián)合清華大學(xué)等機(jī)構(gòu)共同發(fā)布開(kāi)源項(xiàng)目Mooncake。

參與開(kāi)源的首批陣容包括：

AISoft、阿里云、華為存儲(chǔ)、面壁智能、趨境科技等。

可以說(shuō)，云計(jì)算、存儲(chǔ)、AI模型玩家等產(chǎn)學(xué)研力量都聚齊了。

據(jù)悉，Mooncake開(kāi)源項(xiàng)目從論文延伸，以超大規(guī)模KVCache緩存池為中心，通過(guò)以存換算的創(chuàng)新理念大幅度減少算力開(kāi)銷，顯著提升了推理吞吐量。

目前Mooncake技術(shù)框架已正式開(kāi)源上線，官方還表示：

歡迎更多企業(yè)和研究機(jī)構(gòu)加入Mooncake項(xiàng)目共建，共同探索更加高效和先進(jìn)的模型推理系統(tǒng)架構(gòu)創(chuàng)新，讓基于大模型技術(shù)的AI助手等產(chǎn)品，持續(xù)惠及更廣泛人群。

開(kāi)源實(shí)在是一個(gè)大殺器，推理架構(gòu)層面的開(kāi)源，意味著Kimi正在重新定義自己在模型側(cè)的運(yùn)作模式甚至商業(yè)計(jì)劃。希望看到國(guó)內(nèi)LLM推理方面的開(kāi)源能夠進(jìn)一步助力大模型應(yīng)用的真正爆發(fā)！

參考鏈接：

??https://mp.weixin.qq.com/s/NsKDtC7qp2JxA_EunwSqvg??

??https://mp.weixin.qq.com/s/-0YxV77HnEEtrvxJSSujmQ??

本文轉(zhuǎn)載自??51CTO技術(shù)棧??