英偉達(dá)Mistral AI聯(lián)袂出擊！120億小模型王者強(qiáng)勢(shì)登場(chǎng)，碾壓Llama 3單張4090可跑

作者：新智元 2024-07-22 07:50:00

人工智能新聞

GPT-4o mini頭把交椅還未坐熱，Mistral AI聯(lián)手英偉達(dá)發(fā)布12B參數(shù)小模型Mistral Nemo，性能趕超Gemma 2 9B和Llama 3 8B。

小模型，成為本周的AI爆點(diǎn)。

先是HuggingFace推出了小模型SmoLLM；OpenAI直接殺入小模型戰(zhàn)場(chǎng)，發(fā)布了GPT-4o mini。

GPT-4o mini發(fā)布同天，歐洲最強(qiáng)AI初創(chuàng)公司Mistral立馬發(fā)布旗下最新最強(qiáng)小模型——Mistral NeMo。

Mistral NeMo由Mistral AI和英偉達(dá)聯(lián)手打造，有12B參數(shù)，支持128K上下文。

從整體性能上來(lái)看，Mistral NeMo在多項(xiàng)基準(zhǔn)測(cè)試中，擊敗了Gemma 2 9B和Llama 3 8B。

看到各大巨頭和獨(dú)角獸都和小模型杠上了，吃瓜群眾紛紛鼓掌。

HuggingFace創(chuàng)始人表示，本周巨頭小模型三連發(fā)，「小模型周」來(lái)了！卷！繼續(xù)卷！

Mistral這周的確像打了雞血，火力全開。

幾天前，Mistral才發(fā)布了兩款小模型，專為數(shù)學(xué)推理和科學(xué)發(fā)現(xiàn)設(shè)計(jì)的Mathstral 7B和代碼模型Codestral Mamba，是首批采用Mamba 2架構(gòu)的開源模型之一。

沒想到周這只是平A了兩下熱熱場(chǎng)子，還和老黃憋著大招等待閃亮登場(chǎng)。

1＋1＞2?

最新發(fā)布的小模型Mistral NeMo 12B，瞄準(zhǔn)企業(yè)用戶的使用。

開發(fā)人員可以輕松定制和部署支持聊天機(jī)器人、多語(yǔ)言任務(wù)、編碼和摘要的企業(yè)應(yīng)用程序。

通過將Mistral AI在訓(xùn)練數(shù)據(jù)方面的專業(yè)知識(shí)，與英偉達(dá)優(yōu)化的硬件和軟件生態(tài)系統(tǒng)相結(jié)合，「最強(qiáng)爹媽」培養(yǎng)出的娃，Mistral NeMo模型性能極其優(yōu)秀。

Mistral AI聯(lián)合創(chuàng)始人兼首席科學(xué)家Guillaume Lample表示，「我們很幸運(yùn)能夠與英偉達(dá)團(tuán)隊(duì)合作，利用他們的頂級(jí)硬件和軟件。」

Mistral NeMo在NVIDIA DGX Cloud AI平臺(tái)完成了訓(xùn)練，該平臺(tái)提供對(duì)最新英偉達(dá)架構(gòu)的專用和可擴(kuò)展訪問。

加速大語(yǔ)言模型推理性能的NVIDIA TensorRT-LLM，以及構(gòu)建自定義生成AI模型的NVIDIA NeMo開發(fā)平臺(tái)也用于推進(jìn)和優(yōu)化新模型的性能。

此次合作也凸顯了英偉達(dá)對(duì)支持模型構(gòu)建器生態(tài)系統(tǒng)的承諾。

企業(yè)賽道，卓越性能

Mistral NeMo支持128K上下文，能夠更加連貫、準(zhǔn)確地處理廣泛且復(fù)雜的信息，確保輸出與上下文相關(guān)。

與同等參數(shù)規(guī)模模型相比，它的推理、世界知識(shí)和編碼準(zhǔn)確性都處于領(lǐng)先地位。

下表結(jié)果所示，除了在MMLU基準(zhǔn)上，Mistral NeMo不如Gemma 2 9B。

但在多輪對(duì)話、數(shù)學(xué)、常識(shí)推理、世界知識(shí)和編碼等基準(zhǔn)中，超越了Gemma 2 9B和Llama 3 8B。

由于Mistral NeMo使用標(biāo)準(zhǔn)架構(gòu)，因此兼容性強(qiáng)，易于使用，并且可以直接替代任何使用Mistral 7B的系統(tǒng)。

Mistral NeMo是一個(gè)擁有120億參數(shù)的模型，根據(jù)Apache 2.0許可證發(fā)布，任何人皆可下載使用。

此外，模型使用FP8數(shù)據(jù)格式進(jìn)行模型推理，這可以減少內(nèi)存大小并加快部署速度，而不會(huì)降低準(zhǔn)確性。

這意味著，模型可以流暢絲滑地學(xué)習(xí)任務(wù)，并更有效地處理不同的場(chǎng)景，使其成為企業(yè)的理想選擇。

這種格式可以在任何地方輕松部署，各種應(yīng)用程序都能靈活使用。

因此，模型可以在幾分鐘內(nèi)，部署到任何地方，免去等待和設(shè)備限制的煩惱。

Mistral NeMo瞄準(zhǔn)企業(yè)用戶的使用，采用屬于NVIDIA AI Enterprise一部分的企業(yè)級(jí)軟件，具有專用功能分支、嚴(yán)格的驗(yàn)證流程以及企業(yè)級(jí)安全性的支持。

開放模型許可證也允許企業(yè)將Mistral NeMo無(wú)縫集成到商業(yè)應(yīng)用程序中。

Mistral NeMo NIM專為安裝在單個(gè)NVIDIA L40S、NVIDIA GeForce RTX 4090或NVIDIA RTX 4500 GPU的內(nèi)存上而設(shè)計(jì)，高效率低成本，并且保障安全性和隱私性。

也就是說(shuō)，單個(gè)英偉達(dá)L40S，一塊GPU就可跑了。

對(duì)于希望實(shí)現(xiàn)先進(jìn)人工智能的企業(yè)來(lái)說(shuō)，Mistral NeMo 12B提供了強(qiáng)大且實(shí)用的組合技。

先進(jìn)模型的開發(fā)和定制

Mistral AI和英偉達(dá)各自擅長(zhǎng)的領(lǐng)域結(jié)合，優(yōu)化了Mistral NeMo的訓(xùn)練和推理。

模型利用Mistral AI的專業(yè)知識(shí)進(jìn)行訓(xùn)練，尤其是在多語(yǔ)言、代碼和多輪內(nèi)容方面，受益于英偉達(dá)全堆棧的加速訓(xùn)練。

它專為實(shí)現(xiàn)最佳性能而設(shè)計(jì)，利用高效的模型并行技術(shù)、可擴(kuò)展性以及與Megatron-LM的混合精度。

該模型使用NVIDIA NeMo的一部分Megatron-LM進(jìn)行訓(xùn)練，在DGX Cloud上配備3,072個(gè)H100 80GB Tensor Core GPU，由NVIDIA AI架構(gòu)組成，包括加速計(jì)算、網(wǎng)絡(luò)結(jié)構(gòu)和軟件，以提高訓(xùn)練效率。