編輯 | 云昭

進入2025以來，中國大模型的開源力量一騎絕塵，甚至蓋過了Llama的勢頭。今天，中國開源大模型，迎來新成員！

4月30日，趕在五一前，一條“為Reasoning而生”的Xiaomi Mimo開源模型的發(fā)布消息不脛而走，發(fā)布渠道是小米6天前新注冊的公眾號Xiaomi Mimo。

圖片

據悉，Xiaomi Mimo模型是小米公司剛成立不久的LLM-Core團隊（據傳去年12月底開始成立）的成果首秀。

圖片

模型參數只有7B，卻在代碼、數學能力戰(zhàn)勝了OpenAI的o1-mini和阿里的Qwen-32B，并展現出了超越經典開源32B模型的強化學習的潛力。

圖片

短短幾個月的時間，就能做出這樣的成績，屬實不易。

1.那么，究竟怎樣做到的呢？

據悉，MiMo推理能力的提升，得益于團隊在預訓練和后訓練的數據和算法方面的多層組合創(chuàng)新努力。

具體來講，預訓練方面：就是讓模型領略更多的推理模型，后訓練方面重點就是打磨高效穩(wěn)定的強化學習算法和框架。

具體關鍵做法如下：

(1)預訓練

• 數據上，著重挖掘富推理語料，并合成約200B tokens推理數據。訓練上，進行了三階段訓練，逐步提升訓練難度，總訓練25T tokens。

圖片

(2)后訓練

主打高效穩(wěn)定的RL訓練。比如在算法方面提出了 Test Difficulty Driven Reward 來緩解困難算法問題中的獎勵稀疏問題，并引入 Easy Data Re-Sampling 策略，以穩(wěn)定 RL 訓練；在框架方面設計了Seamless Rollout系統(tǒng)，使得RL訓練加速2.29倍，驗證加速1.96倍。

圖片

技術細節(jié)還有很多，比如使用改進的組相對策略優(yōu)化（GRPO）算法進行訓練，包括移除KL損失、動態(tài)采樣和增加上界裁剪等策略；提出測試難度驅動的獎勵機制，將測試用例按難度分組，并根據難度分配獎勵；采用易數據過濾和重采樣策略，提高采樣效率并穩(wěn)定策略更新等等，這里不再一一展開。

技術報告也已經同步在Github上，鏈接：??https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf??感興趣的朋友強烈建議一讀。   

2.全系列模型開源

MiMo-7B 已開源4個模型至HuggingFace：??https://huggingface.co/XiaomiMiMo??

圖片

3.小米的大模型野心

小米作為移動互聯網時代的佼佼者，同其他科技巨頭一樣，很早就在AI方面做了布局。

例如早在2016年，小米便組建起了第一支視覺AI團隊。隨即2017年，小米AI實驗室成立，為小米在AI技術的探索和創(chuàng)新提供了重要平臺。

但真正讓小米管理班子下決心做大模型的時間點是2023年。2023年，小米成立大模型團隊，將“輕量化、本地部署”定為小米大模型技術的主要突破方向。

同年8月，雷軍在演講《成長》中宣布：小米進行科技戰(zhàn)略升級，把AI放到了核心位置，同時提出了“深耕底層技術、長期持續(xù)投入、軟硬深度融合，AI全面賦能”的原則，計劃未來五年在12個技術領域、99個細分賽道投入1000億用于技術研發(fā)。

據悉，小米的AI團隊規(guī)模已超過3000人，覆蓋了視覺、聲學、語音、NLP、知識圖譜、機器學習、大模型、多模態(tài)等多個前沿方向，推動著AI技術全面賦能手機、AIoT、汽車、機器人等多個業(yè)務板塊。

但進入大模型時代以后，模型底座的重要性越來越得到凸顯，一方面DeepSeek R1用實力證明了千億參數以下的模型也可以用較低成本的方式獲得不亞于o1的推理效果，技術路徑得到驗證；另一方面，上層AI應用的同質化的確在用戶忠誠度方面拉不開距離。

這也是為什么小米堅決在大模型底層做投入的原因。只有具備自己的大模型，才能讓昔日的互聯網王者有底氣留在未來的大模型牌桌上。

Mimo團隊是一個年輕的團隊，而且今天發(fā)布的模型也不是市面上性能最為先進的，畢竟只有7B的大小，能PK掉Qwen-32B和o1-mini，可以說試一次不錯的技術路徑的驗證。

這是一個很好的階段性成果，不難預料，Mimo2對標的將會是o3、o4-mini。

這似乎是小米Mimo團隊的不太遙遠的“野望”！

正如小米新注冊的這個公眾號的slogan：Ask Mi Anything！

參考鏈接：??https://mp.weixin.qq.com/s/Sx48m4tTTc6bJzMLU5scbQ??

本文轉載自??51CTO技術棧??，作者：云昭