一條神秘磁力鏈接引爆整個AI圈，現(xiàn)在，正式測評結(jié)果終于來了：

首個開源MoE大模型Mixtral 8x7B，已經(jīng)達(dá)到甚至超越了Llama 2 70B和GPT-3.5的水平。

（對，就是傳聞中GPT-4的同款方案。）

并且由于是稀疏模型，處理每個token僅用了12.9B參數(shù)就做到了這般成績，其推理速度和成本也與12.9B的密集模型相當(dāng)。

消息一出，再次在社交媒體上掀起討論熱潮。

OpenAI創(chuàng)始成員Andrej Karpathy第一時間趕到現(xiàn)場整理起了筆記，還高亮出了重點(diǎn)：這家“歐版OpenAI”透露出的最強(qiáng)模型，還只是“中杯”。

p.s. Mixtral 8×7B甚至只是小杯……

英偉達(dá)AI科學(xué)家Jim Fan則贊說：

每個月都會有十幾個新的模型冒出來，但真正能經(jīng)得住檢驗(yàn)的卻寥寥無幾，能引發(fā)大家伙熱烈關(guān)注的就更少了。

并且這波啊，不僅是模型背后公司Mistral AI大受關(guān)注，也帶動MoE（Mixture of Experts）再次成為開源AI社區(qū)的最火議題。

HuggingFace官方就趁熱發(fā)布了一篇MoE的解析博文，同樣打出了“轉(zhuǎn)發(fā)如潮”的效果。

值得關(guān)注的是，Mistral AI的最新估值已經(jīng)沖破20億美元，在短短6個月中增長了7倍多……

基本超越Llama 2 70B

說起來，Mistral AI這家公司也是不走尋常路。隔壁大廠前腳剛轟轟烈烈搞發(fā)布會，慢慢悠悠發(fā)模型，他們可倒好，直接來了個程序顛倒：

先甩鏈接開放下載，又給vLLM項(xiàng)目（一個大模型推理加速工具）提了PR，最后才想起來發(fā)布技術(shù)博客給自家模型整了個正經(jīng)官宣。

△模型一開始是醬嬸發(fā)布的

那么還是先來看看，官方給出了哪些信息，與這兩天吃瓜群眾自己扒出來的細(xì)節(jié)有何不同。

首先，官方自信地表示：

Mixtral 8×7B在大多數(shù)基準(zhǔn)測試中都優(yōu)于Llama 2 70B，推理速度快了6倍。

它是最強(qiáng)大的、具有寬松許可的開放權(quán)重模型，也是最佳性價比之選。

具體來說，Mixtral采用了稀疏混合專家網(wǎng)絡(luò)，是一個decoder-only的模型。在其中，前饋塊會從8組不同的參數(shù)組中進(jìn)行選擇——

也就是說，實(shí)際上，Mixtral 8×7B并不是8個7B參數(shù)模型的集合，僅僅是Transformer中的前饋塊有不同的8份。

這也就是為什么Mixtral的參數(shù)量并不是56B，而是46.7B。

其特點(diǎn)包括以下幾個方面：

• 在大多數(shù)基準(zhǔn)測試中表現(xiàn)優(yōu)于Llama 2 70B，甚至足以擊敗GPT-3.5
• 上下文窗口為32k
• 可以處理英語、法語、意大利語、德語和西班牙語
• 在代碼生成方面表現(xiàn)優(yōu)異
• 遵循Apache 2.0許可（免費(fèi)商用）

具體測試結(jié)果如下：

另外，在幻覺問題方面，Mixtral的表現(xiàn)也由于Llama 2 70B：

在TruthfulQA基準(zhǔn)上的成績是73.9% vs 50.2%；在BBQ基準(zhǔn)上呈現(xiàn)更少的偏見；在BOLD上，Mixtral顯示出比Llama 2更積極的情緒。

此次與Mixtral 8×7B基礎(chǔ)版本一起發(fā)布的，還有Mixtral 8x7B Instruct版本。后者經(jīng)過SFT和DPO優(yōu)化，在MT-Bench上拿到了8.3的分?jǐn)?shù)，跟GPT-3.5差不多，優(yōu)于其他開源大模型。

目前，Mistral官方已經(jīng)宣布上線API服務(wù)，不過還是邀請制，未受邀用戶需要排隊(duì)等待。

值得關(guān)注的是，API分為三個版本：

• 小小杯（Mistral-tiny），對應(yīng)模型是Mistral 7B Instruct；
• 小杯（Mistral-small），對應(yīng)模型是這次發(fā)布的Mixtral 8×7B；
• 中杯（Mistral-medium），對應(yīng)的模型尚未公布，但官方透露其在MT-Bench上的得分為8.6分。

有網(wǎng)友直接把GPT-4拉過來對比了一下?？梢钥吹剑斜Ｐ驮赪inoGrande（常識推理基準(zhǔn)）上的得分超過了GPT-4。

價格方面，小小杯到中杯的輸入和輸出價格分別是每一百萬token0.14~2.5歐元和0.42~7.5歐元不等，嵌入模型則是0.1歐元每百萬token（1歐元約合7.7人民幣）。

而在線版本，目前還只能到第三方平臺（Poe、HuggingFace等）體驗(yàn)。

能看懂中文，但不太愿意說

雖然官方通告中并沒有說支持中文，但我們實(shí)測（HuggingFace Chat中的在線版，模型為Instruct版本）發(fā)現(xiàn)，Mixtral至少在理解層面上已經(jīng)具備一定中文能力了。

生成層面上，Mixtral不太傾向于用中文來回答，但如果指明的話也能得到中文回復(fù)，不過還是有些中英混雜的情況。

面對更多的“弱智吧”問題，Mixtral的回答雖中規(guī)中矩，但看上去至少已經(jīng)理解了字面含義。

數(shù)學(xué)方面，面對經(jīng)典的雞兔同籠問題，Mixtral的回答從過程到結(jié)果都完全正確。

即使是高等數(shù)學(xué)問題，比如復(fù)雜的函數(shù)求導(dǎo)，Mixtral也能給出正確答案，更難能可貴的是過程沒什么問題。

而此次的官方通告中專門強(qiáng)調(diào)了Mixtral的代碼能力很強(qiáng)，所以也受到了我們的重點(diǎn)考察。

一道困難難度的LeetCode下來，Mixtral給出的代碼一次就通過了測試。

給你一個未排序的整數(shù)數(shù)組nums，請你找出其中沒有出現(xiàn)的最小的正整數(shù)。
請你實(shí)現(xiàn)時間復(fù)雜度為O(n)并且只使用常數(shù)級別額外空間的解決方案。

但隨著我們繼續(xù)提問，Mixtral的回答一不小心暴露了自己可能專門針對LeetCode做過訓(xùn)練，而且還是中文版LC。

為了更加真實(shí)地展示Mixtral的代碼能力，我們轉(zhuǎn)而讓它編寫實(shí)用程序——用JS寫一個Web版計算器。

經(jīng)過幾輪調(diào)整之后，雖然按鈕的布局有些奇怪，但基本的四則運(yùn)算已經(jīng)可以完成了。

此外我們會發(fā)現(xiàn)，如果在同一個對話窗口中不斷補(bǔ)充新的要求，Mixtral的表現(xiàn)可能會有所下降，出現(xiàn)代碼格式混亂等問題，開啟新一輪對話后則會恢復(fù)正常。

除了API和在線版本，Mistral AI還提供了模型下載服務(wù)，可以用??上的磁力鏈接或通過Hugging Face下載之后在本地部署。

在??上，已經(jīng)有不少網(wǎng)友在自己的設(shè)備上跑起了Mixtral，還給出了性能數(shù)據(jù)。

在128GB內(nèi)存的蘋果M3 Max設(shè)備上，使用16位浮點(diǎn)精度運(yùn)行Mixtral時消耗了87GB顯存，每秒可以跑13個token。

同時也有網(wǎng)友在M2 Ultra上通過llama.cpp跑出了每秒52token的速度。

看到這里，你會給Mistral AI的模型實(shí)力打幾分？

不少網(wǎng)友是已經(jīng)興奮起來了：

“OpenAI沒有護(hù)城河”，看起來肯定會成為現(xiàn)實(shí)……

要知道，Mistral AI今年5月才剛剛成立。

短短半年，已是一手20億美元估值，一手驚艷整個AI社區(qū)的模型。

更關(guān)鍵的是，普林斯頓博士生Tianle Cai分析了Mistral-7B與Mixtral-8x7B模型的權(quán)重相關(guān)性做了分析，證明了模型的成功復(fù)用。

隨后網(wǎng)友發(fā)現(xiàn)，Mistral AI創(chuàng)始人也親自證實(shí)，MoE模型確實(shí)就是把7B基礎(chǔ)模型復(fù)制8次，再進(jìn)一步訓(xùn)練來的。

隨著此類模型的免費(fèi)商用，整個開源社區(qū)、新的創(chuàng)業(yè)公司都可以在此基礎(chǔ)之上推動MoE大模型的發(fā)展，就像Llama已然帶動的風(fēng)暴那樣。