月之暗面開(kāi)源 Kimi-K2:萬(wàn)億參數(shù),超強(qiáng)Agent,全線 SOTA
2023年成立的中國(guó)AI初創(chuàng)公司月之暗面,剛剛發(fā)布了其最新重量級(jí)產(chǎn)品Kimi-K2。
這是一款參數(shù)規(guī)模高達(dá)一萬(wàn)億的開(kāi)源大模型,以挑戰(zhàn)GPT-4.1和Claude Sonnet 4為目標(biāo)。
Kimi-K2沒(méi)有配備專(zhuān)門(mén)的“推理模塊”,卻依然在多個(gè)關(guān)鍵領(lǐng)域打破性能壁壘,這一策略讓人想起早前Deepseek的發(fā)布。
該模型采用“專(zhuān)家混合”(Mixture-of-Experts)架構(gòu),每次推理時(shí)動(dòng)態(tài)激活320億參數(shù)。
Kimi-K2的權(quán)重完全開(kāi)放,允許研究者和開(kāi)發(fā)者進(jìn)行自定義微調(diào)與本地部署。
擊穿基準(zhǔn):沒(méi)有“推理模塊”的強(qiáng)者
Kimi-K2在多個(gè)通用語(yǔ)言模型評(píng)測(cè)中與閉源頂級(jí)模型并肩而立,甚至在編程與數(shù)學(xué)領(lǐng)域表現(xiàn)出壓倒性?xún)?yōu)勢(shì)。
在被廣泛采用的SWE-bench Verified測(cè)試中,Kimi-K2-Instruct在“Agent模式”下獲得65.8%的得分,僅次于Claude Sonnet 4,遠(yuǎn)超GPT-4.1的54.6%。
這個(gè)測(cè)試評(píng)估的是模型在真實(shí)開(kāi)源項(xiàng)目中識(shí)別與修復(fù)代碼錯(cuò)誤的能力,難度極高。
在LiveCodeBench測(cè)試中,Kimi-K2以53.7%的得分領(lǐng)跑所有模型,OJBench的得分也達(dá)到了27.1%。
這兩個(gè)評(píng)測(cè)分別模擬互動(dòng)式編程任務(wù)與傳統(tǒng)競(jìng)賽題,進(jìn)一步證明了Kimi-K2在軟件工程場(chǎng)景中的適配能力。
更重要的是,官方強(qiáng)調(diào)“non-thinking”,意味著在無(wú)需顯式推理的基礎(chǔ)上,完成這些高復(fù)雜度任務(wù)。這對(duì)“推理模塊”至上的傳統(tǒng)語(yǔ)言模型設(shè)計(jì)提出了深刻反思。
在數(shù)學(xué)和科學(xué)領(lǐng)域,Kimi-K2在AIME、GPQA-Diamond和MATH-500等測(cè)評(píng)中穩(wěn)定優(yōu)于主要對(duì)手,展示出深度數(shù)學(xué)建模的潛力。
在多語(yǔ)言測(cè)試如MMLU-Pro中,它同樣進(jìn)入領(lǐng)先梯隊(duì),兼具多語(yǔ)言與跨學(xué)科能力。
值得一提的是,在一項(xiàng)非正式評(píng)測(cè)中,Kimi-K2能完整生成騎自行車(chē)的鵜鶘SVG圖像,而其他主流模型常常只畫(huà)出模糊形狀。
圖像生成的正確性在眾多模型中極為罕見(jiàn),這也印證了Kimi-K2的空間理解與復(fù)雜結(jié)構(gòu)表達(dá)能力。
月之暗面強(qiáng)調(diào),Kimi-K2專(zhuān)為Agent工作流而非日常對(duì)話而設(shè)計(jì)。
它能自主調(diào)用工具、執(zhí)行命令、生成與調(diào)試代碼,甚至完成復(fù)雜的多步驟流程。
在一場(chǎng)演示中,Kimi-K2完成了一整套薪資數(shù)據(jù)分析任務(wù),包括:數(shù)據(jù)抓取、統(tǒng)計(jì)建模、并生成交互式HTML頁(yè)面,內(nèi)嵌可定制的推薦工具,全流程無(wú)需人工干預(yù)。
它不僅僅能“理解指令”,還能構(gòu)建復(fù)雜流程,從想法到產(chǎn)品,Kimi-K2一次完成。
媒體報(bào)道稱(chēng),這一切并非依賴(lài)龐大的推理系統(tǒng),而是源于其在Agent環(huán)境中進(jìn)行的強(qiáng)化學(xué)習(xí)訓(xùn)練,重點(diǎn)在于“工具協(xié)作”而非“邏輯演繹”。
分析認(rèn)為,這種以“任務(wù)完成”為核心的訓(xùn)練方向,可能比傳統(tǒng)的“思考過(guò)程訓(xùn)練”更適用于實(shí)際場(chǎng)景。盡管如此,Kimi-K2仍有局限:如果任務(wù)本身不明確,或者工具調(diào)用鏈條過(guò)長(zhǎng),模型可能輸出拖沓或不完整。
此外,Kimi-K2在持續(xù)對(duì)話中的表現(xiàn)遠(yuǎn)優(yōu)于單輪問(wèn)答,這更加印證了其Agent化定位。
意思是:自研的 Muon 優(yōu)化器,在訓(xùn)練大模型時(shí)表現(xiàn)明顯好于主流的 AdamW。如果預(yù)訓(xùn)練語(yǔ)料是有限的,模型結(jié)構(gòu)也不變,那么“更省 token 的優(yōu)化器”能訓(xùn)練出“更聰明的模型”
Kimi-K2使用名為MuonClip的新訓(xùn)練算法,在規(guī)模達(dá)到15.5萬(wàn)億tokens的訓(xùn)練中保持穩(wěn)定。該算法通過(guò)定期調(diào)整注意力機(jī)制中的關(guān)鍵參數(shù),成功避免了大模型常見(jiàn)的“訓(xùn)練崩潰”問(wèn)題。
one more thing
Kimi-K2目前提供兩個(gè)版本:Kimi-K2-Base用于研究與微調(diào),Kimi-K2-Instruct適用于通用任務(wù)與Agent部署。
兩者均可通過(guò)月之暗面的OpenAI兼容API調(diào)用,價(jià)格分級(jí)明確。
緩存命中輸入每百萬(wàn)tokens僅需$0.15,未命中為$0.60,輸出為$2.50,符合商業(yè)化預(yù)期。
月之暗面還允許開(kāi)發(fā)者使用vLLM、SGLang、KTransformers或TensorRT-LLM在本地部署。
在GitHub上可查閱完整的部署說(shuō)明。
模型遵循MIT開(kāi)源協(xié)議,但對(duì)超大規(guī)模部署有附加條款:若產(chǎn)品用戶(hù)超過(guò)1億,或月?tīng)I(yíng)收超2000萬(wàn)美元,需在界面明確展示“Kimi-K2”名稱(chēng)。
這對(duì)于大多數(shù)初創(chuàng)公司或開(kāi)發(fā)者來(lái)說(shuō)不構(gòu)成障礙,反而是品牌信用的體現(xiàn)。
不過(guò),Kimi-K2并非輕裝上陣:推理需調(diào)用320億參數(shù),高效推理通常需多卡Hopper或同級(jí)GPU。
據(jù)蘋(píng)果開(kāi)發(fā)者Awni Hannun透露,其4-bit量化版本可在兩臺(tái)配備512GB內(nèi)存的Apple M3 Ultra機(jī)器上運(yùn)行,但門(mén)檻依然顯著。