Mistral AI新模型對標(biāo)GPT-4,不開源且與微軟合作,網(wǎng)友:忘了初心
生成式 AI 領(lǐng)域,又有重量級產(chǎn)品出現(xiàn)。
周一晚間,Mistral AI 正式發(fā)布了「旗艦級」大模型 Mistral Large。與此前的一系列模型不同,這次 Mistral AI 發(fā)布的版本性能更強(qiáng),體量更大,直接對標(biāo) OpenAI 的 GPT-4。而新模型的出現(xiàn),也伴隨著公司大方向的一次轉(zhuǎn)型。
隨著 Mistral Large 上線,Mistral AI 推出了名為 Le Chat 的聊天助手(對標(biāo) ChatGPT),任何人都可以試試效果。
試用鏈接:https://chat.mistral.ai/
此前,Mistral AI 提出的 Mistral-Medium 因?yàn)閺?qiáng)大的性能、「意外」的開源而名噪一時(shí),目前很多大模型初創(chuàng)企業(yè)都已不再對標(biāo) Llama 2,而是將 Mistral AI 旗下模型作為直接競爭對手。此次 Mistral Large 的出現(xiàn),自然迅速吸引了眾人關(guān)注。
人們首先關(guān)注的是性能,盡管在參數(shù)數(shù)量上不及 GPT-4,Mistral-Large 在關(guān)鍵性能方面卻能與 GPT-4 媲美,可以說是當(dāng)前業(yè)內(nèi)的前三:
Mistral Large 的推理準(zhǔn)確性優(yōu)于 Claude 2、Gemini 1.0 Pro、GPT-3.5,支持 32k token 的上下文窗口,支持精確指令,自帶函數(shù)調(diào)用能力。
人們也發(fā)現(xiàn) Mistral Large 的推理速度超過了 GPT-4 和 Gemini Pro。然而優(yōu)點(diǎn)到此為止。
模型除了增加體量,也需要有相應(yīng)的數(shù)據(jù)。在模型發(fā)布后,人們發(fā)現(xiàn)它生成的文本有一種 ChatGPT 的既視感。
如果說為了能趕上業(yè)內(nèi)最先進(jìn)的 GPT-4,使用 AI 生成的內(nèi)容進(jìn)行訓(xùn)練或許并不是什么大問題。但 Mistral Large 的出現(xiàn)也給 AI 社區(qū)的人們帶來了危機(jī)感:它并不是一個(gè)開源大模型。
這次發(fā)布的大模型有跑分,有 API 和應(yīng)用,就是不像往常一樣有 GitHub 或是下載鏈接。
有網(wǎng)友發(fā)現(xiàn),新模型發(fā)布后,Mistral AI 官網(wǎng)還悄悄把所有有關(guān)開源社區(qū)義務(wù)的內(nèi)容全部撤掉了:
難道以開源起家的 Mistral AI,成立才不足一年,這就要轉(zhuǎn)向了嗎?
Mistral Large 目前已經(jīng)能在 Mistral AI 自有平臺 La Plateforme 和微軟 Azure 上使用。除了 Mistral Large 之外,Mistral AI 還發(fā)布了新模型 Mistral Small,針對延遲和成本進(jìn)行了優(yōu)化。Mistral Small 的性能優(yōu)于 Mixtral 8x7B,并且推理延遲得到了降低,提供了一種開放權(quán)重模型和旗艦?zāi)P椭g的中間方案。
但模型的定價(jià)也引發(fā)了一些質(zhì)疑。比如 Mistral Small 的低延遲相比于 Mixtral 8x7B 的提升微乎其微,但輸入貴了 2.8 倍,輸出貴了 8.5 倍:
如果以商業(yè)大模型的標(biāo)準(zhǔn)來看待,Mistral Large 的定價(jià)和 GPT-4 相比并不具備優(yōu)勢,這又該如何吸引客戶呢?
這位業(yè)內(nèi)人士表示:「如果它的價(jià)格是 GPT-4 Turbo 的一半,我會更理解。」
新的 Mistral AI「大杯」模型,表現(xiàn)如何?
在官方博客中,Mistral AI 詳細(xì)介紹了 Mistral Large 的功能和優(yōu)勢:
Mistral Large 在多個(gè)常用基準(zhǔn)測試中取得了優(yōu)異的成績,使其成為世界上排名第二的可通過 API 普遍使用的模型(僅次于 GPT-4):
GPT-4、Mistral Large(預(yù)訓(xùn)練)、Claude 2、Gemini Pro 1.0、GPT 3.5 和 LLaMA 2 70B 在 MMLU 上的比較(測量大規(guī)模多任務(wù)語言理解)。
Mistral Large 的優(yōu)勢如下:
- Mistral Large 的母語是流利的英語、法語、西班牙語、德語和意大利語,對語法和文化背景有細(xì)致入微的理解;
- Mistral Large 的 32K Token 上下文窗口允許從大型文檔中精確調(diào)用信息;
- 其精確的指令跟隨能力使開發(fā)人員能夠設(shè)計(jì)自己的審核策略 ——Mistral AI 以此來設(shè)置 le Chat 的系統(tǒng)級審核;
- Mistral Large 本身就能夠進(jìn)行函數(shù)調(diào)用。這與在 la Plateforme 上實(shí)施的受限輸出模式一起,實(shí)現(xiàn)了大規(guī)模應(yīng)用程序開發(fā)和技術(shù)堆棧現(xiàn)代化。
關(guān)于基準(zhǔn)測試結(jié)果對比,可以參考以下:
推理和知識
Mistral Large 展現(xiàn)出了強(qiáng)大的推理能力。下圖報(bào)告了預(yù)訓(xùn)練模型在標(biāo)準(zhǔn)基準(zhǔn)上的性能:
與多個(gè)領(lǐng)先 LLM 模型在廣泛常識、推理和知識基準(zhǔn)上的表現(xiàn)對比,基準(zhǔn)包括 MMLU(測量理解中的大規(guī)模多任務(wù)語言)、HellaSwag(10-shot)、Wino Grande(5-shot)、Arc Challenge(5-shot)、Arc Challenge(25-shot)、TriviaQA(5-shot)和 TruthfulQA。
多語言能力
Mistral Large 具有原生的多語言能力。它在法語、德語、西班牙語和意大利語的 HellaSwag、Arc Challenge 和 MMLU 基準(zhǔn)測試中明顯優(yōu)于 LLaMA 2 70B。
Mistral Large、Mixtral 8x7B 和 LLaMA 2 70B 在 HellaSwag、Arc Challenge 和 MMLU 上法語、德語、西班牙語和意大利語的比較。
數(shù)學(xué)和編碼
Mistral Large 在編碼和數(shù)學(xué)任務(wù)中表現(xiàn)出頂尖的性能。下表報(bào)告了一系列流行基準(zhǔn)的性能,以評估一些頂級 LLM 模型的編碼和數(shù)學(xué)性能。
領(lǐng)先 LLM 模型在流行編碼和數(shù)學(xué)基準(zhǔn)上的性能:HumanEval pass@1、MBPP pass@1、Math maj@4、GSM8K maj@8(8-shot)和 GSM8K maj@1(5-shot)。
與微軟合作,行 OpenAI 故事
在發(fā)布 Mistral Large 等模型的同時(shí),Mistral AI 還宣布了一個(gè)消息:將與微軟合作,在 Azure 上提供自己的模型。
此次合作使 Mistral AI 成為第二家在微軟 Azure 云計(jì)算平臺上提供商業(yè)語言模型的公司。這有助于 Mistral AI 將自己的模型推向市場,也讓 Mistral AI 有機(jī)會使用 Azure 的尖端 AI 基礎(chǔ)設(shè)施,以加速其下一代大型語言模型的開發(fā)和部署。
這家公司表示,「在 Mistral AI,我們的使命是讓前沿人工智能無處不在。這就是我們今天宣布將自己的開放和商業(yè)模型引入 Azure 的原因。微軟對我們模型的信任讓我們前進(jìn)了一步!」
這項(xiàng)為期多年的協(xié)議標(biāo)志著微軟正在其最大的賭注 OpenAI 之外,努力提供各種人工智能模型,為其 Azure 云服務(wù)吸引更多客戶。去年 11 月,OpenAI 經(jīng)歷了 CEO Altman 被解雇(后又重返)的風(fēng)波。而作為最大的股東,微軟在消息公布前 5 到 10 分鐘才從 OpenAI 那里得到消息。在這次動蕩后,微軟設(shè)法在控制 OpenAI 的非營利性董事會中獲得了一個(gè)無投票權(quán)的觀察員席位。這讓他們對 OpenAI 的內(nèi)部運(yùn)作有了更多了解,但在重大決策上,微軟依然沒有投票權(quán)。
Mistral AI 對路透社表示,作為交易的一部分,微軟將持有該公司少數(shù)股權(quán),但未透露細(xì)節(jié)。
微軟證實(shí)了對 Mistral AI 的投資,但表示不持有該公司的股權(quán)。這家科技巨頭因向 OpenAI 提供巨額資金而受到歐洲和美國監(jiān)管機(jī)構(gòu)的審查。
根據(jù)公告,微軟與 Mistral AI 的合作主要集中在三個(gè)核心領(lǐng)域:
- 超算基礎(chǔ)設(shè)施:微軟將通過 Azure AI 超級計(jì)算基礎(chǔ)設(shè)施支持 Mistral AI ,為 Mistral AI 旗艦?zāi)P偷?AI 訓(xùn)練和推理工作負(fù)載提供一流的性能和規(guī)模;
- 市場推廣:微軟和 Mistral AI 將通過 Azure AI Studio 和 Azure 機(jī)器學(xué)習(xí)模型目錄中的模型即服務(wù)(MaaS)向客戶提供 Mistral AI 的高級模型。除 OpenAI 模型外,模型目錄還提供了多種開源和商業(yè)模型。
- 人工智能研發(fā):微軟和 Mistral AI 將探索為特定客戶訓(xùn)練特定目的模型的合作。
除了微軟,MistralAI 還一直在與亞馬遜和谷歌合作,分銷自己的模型。一位發(fā)言人表示,該公司計(jì)劃在未來幾個(gè)月內(nèi)將 Mistral Large 應(yīng)用于其他云平臺。
Mistral AI 成立于 2023 年 5 月,由來自 Meta Platforms 和 Alphabet 的幾位前研究人員 ——Arthur Mensch(現(xiàn)任 CEO)、Guillaume Lample 和 Timothee Lacroix 共同創(chuàng)立。成立不到四周,Mistral AI 就獲得了 1.13 億美元 的種子輪融資,估值約為 2.6 億美元。成立半年后,他們在 A 輪融資中籌集了 4.15 億美元,估值飆升至 20 億美元,漲了七倍多。而此時(shí),他們僅有 22 名員工。
總體來說,Mistral AI 的模型現(xiàn)在有以下幾種獲取方式:
- Mistral AI 自己的 API:該接入點(diǎn)安全地托管在 Mistral AI 位于歐洲的基礎(chǔ)設(shè)施上,使開發(fā)人員能夠在各種型號的模型上創(chuàng)建應(yīng)用和服務(wù)。
- Azure:Mistral Large 可通過 Azure AI Studio 和 Azure Machine Learning 獲取,其用戶體驗(yàn)與 Mistral AI 的 API 一致。
- 安全部署:Mistral AI 的部分模型可以部署在用戶自己的環(huán)境中,用于對安全性最敏感的用例。
感興趣的讀者可以前去嘗試。
參考內(nèi)容:
https://mistral.ai/news/mistral-large/。
https://azure.microsoft.com/en-us/blog/microsoft-and-mistral-ai-announce-new-partnership-to-accelerate-ai-innovation-and-introduce-mistral-large-first-on-azure/。
https://techcrunch.com/2024/02/26/mistral-ai-releases-new-model-to-rival-gpt-4-and-its-own-chat-assistant/。
https://www.reuters.com/technology/microsoft-partners-with-openais-french-rival-mistral-2024-02-26/。
https://azure.microsoft.com/en-us/blog/microsoft-and-mistral-ai-announce-new-partnership-to-accelerate-ai-innovation-and-introduce-mistral-large-first-on-azure/。