10月17日消息，據(jù)外媒報道，AI初創(chuàng)公司Mistral?AI日前推出了兩款新的AI大模型，Ministral?3B和8B，由于它們的體積較小，因此設(shè)計用于設(shè)備上和邊緣計算。

該公司將這個新模型家族命名為“l(fā)es?Ministraux”，因為它們在不到100億參數(shù)類別中的評級，可以在智能手機、平板電腦和物聯(lián)網(wǎng)設(shè)備等平臺上運行。Mistral表示，這些新的前沿模型可以針對常見用例進(jìn)行微調(diào)，包括專業(yè)任務(wù)，并通過函數(shù)調(diào)用功能作為AI代理工作。

該公司表示，客戶和合作伙伴越來越多地要求“本地化、隱私優(yōu)先的推斷，用于關(guān)鍵應(yīng)用，如設(shè)備上的翻譯、無需互聯(lián)網(wǎng)的智能助手、本地分析和自主機器人”。Les?Ministraux旨在為這些場景提供高效計算和低延遲的解決方案。

這些較小的AI模型可以用作較大模型，如Mistral?Large的調(diào)節(jié)器，作為多步驟工作流程中的中介，處理輸入解析、任務(wù)路由和應(yīng)用調(diào)用以降低成本。

據(jù)悉，這兩個模型支持高達(dá)128,000個令牌的上下文長度，這使它們在數(shù)據(jù)輸入量方面與OpenAI的GPT-4?Turbo保持一致。Ministral?8B還配備了一種特殊的“滑動窗口注意力模式”，能夠?qū)崿F(xiàn)更快、更節(jié)省內(nèi)存的部署。

Ministral?3B和8B的發(fā)布是在Mistral?7B發(fā)布一年后，Mistral?7B是該公司宣稱在模型架構(gòu)方面取得重大進(jìn)步的一個LLM。8B和3B指的是兩個模型中的參數(shù)數(shù)量，分別是80億和30億，公司表示最小的模型，Ministral?3B，在大多數(shù)基準(zhǔn)測試中已經(jīng)超越了Mistral?7B。

根據(jù)基準(zhǔn)測試，預(yù)訓(xùn)練的Ministral?3B在多任務(wù)語言理解評估中超過了谷歌公司的Gemma?2?2B和Meta的Llama?3.2?3B模型，得分分別為60.9對比52.4和56.2。Ministral?8B也以65.0分的成績超過了Llama?8B的64.7分。