以小博大進(jìn)行時(shí)！2023年值得關(guān)注的9個(gè)小模型

作者：諾亞 2023-12-28 11:59:26

Zephyr由Hugging Face設(shè)計(jì)，是一個(gè)70億參數(shù)的小型語言模型。實(shí)際上是在公共數(shù)據(jù)集上訓(xùn)練的 Mistral-7B 的微調(diào)版本，但也通過知識蒸餾技術(shù)進(jìn)行了優(yōu)化。

編譯丨諾亞

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

大語言模型（LLM）作為年度熱詞，已經(jīng)充分向我們證明了其影響力。如今，一場無聲卻極具開創(chuàng)性的變革正在興起。小語言模型（SLM）的興起正逐步挑戰(zhàn)著大預(yù)言模型的主導(dǎo)地位。相較大模型，小模型對于訓(xùn)練數(shù)據(jù)、內(nèi)存、算力的要求較少，但高質(zhì)量的“小數(shù)據(jù)”同樣能夠讓小模型表現(xiàn)出良好的語言理解和推理性能。

當(dāng)前，很多公司都在關(guān)注小模型，因?yàn)樗鼈冊诳稍L問性、計(jì)算效率和適應(yīng)性方面的特性，使它們非常適合部署在邊緣設(shè)備和云環(huán)境中，進(jìn)而開創(chuàng)一個(gè)人機(jī)交互的新時(shí)代。在今年Ignite大會(huì)上，微軟CEO薩蒂亞·納德拉在會(huì)上宣布將自研小模型 Phi-2 完全開源，并表示：“微軟熱愛SLM”。這也為此后其他小模型的推出開了個(gè)好頭。回顧2023年，我們來看看今年出現(xiàn)了哪些值得關(guān)注的小模型。

1、Llama 2 7B

今年7月發(fā)布的Meta AI第二代開源大型語言模型Llama 2擁有令人印象深刻的340億個(gè)參數(shù)，較小的70億參數(shù)模型是專門為研究目的而制作的。與它的前身相比，它顯著地增強(qiáng)了模型的性能、效率和可訪問性。

通過演示文本生成、翻譯和代碼生成的改進(jìn)，Llama 2迎合了廣泛的NLP任務(wù)。該模型的多語言功能和針對特定任務(wù)(如Code Llama)的微調(diào)版本的可用性，將其應(yīng)用范圍從機(jī)器翻譯擴(kuò)展到聊天機(jī)器人和內(nèi)容創(chuàng)建。

當(dāng)前的許多開源模型都是建立在Llama系列模型之上的。

1、Phi2 和 Orca

在Ignite 2023大會(huì)上，微軟宣布了其在小型語言模型方面的最新進(jìn)展，推出了Phi-2和Orca。Phi-2是Phi小型語言模型(SLM)系列的最新迭代，擁有令人印象深刻的130億個(gè)參數(shù)容量，并為提高效率和可擴(kuò)展性而量身定制。Phi-2是為邊緣設(shè)備和云定制的，在文本生成、語言翻譯和信息性問答方面表現(xiàn)出色。

Orca模型則是一個(gè)只有13億參數(shù)但具有大模型推理能力的小模型。Orca在ChatGPT 生成的五百萬數(shù)據(jù)集上初步訓(xùn)練，然后再在 GPT-4 生成的一百萬數(shù)據(jù)集上進(jìn)一步訓(xùn)練，它主要學(xué)習(xí)GPT-4對結(jié)果逐步解釋的能力和循序漸進(jìn)的思考過程以及對其他復(fù)雜指令的響應(yīng)能力，并由ChatGPT當(dāng)助教協(xié)助指導(dǎo)。

Phi-2和Orca是微軟致力于推進(jìn)小型語言模型的一個(gè)縮影，有望在自然和可訪問的計(jì)算領(lǐng)域帶來一場革命。

3、Stable Beluga 7B

這是由Stability AI 公司推出的一個(gè)70億參數(shù)的語言模型，利用來自Meta AI的Llama模型基礎(chǔ)，并在Orca風(fēng)格的數(shù)據(jù)集上進(jìn)行微調(diào)，在各種NLP任務(wù)中表現(xiàn)出強(qiáng)大的性能，包括文本生成、翻譯、問答和代碼完成。

Stable Beluga 7B能夠理解并響應(yīng)多種語言，增強(qiáng)了其全球影響力和適用性。該模型的未來承諾進(jìn)一步增強(qiáng)性能，增加采用和集成，開發(fā)專用版本，并繼續(xù)為開源社區(qū)做出貢獻(xiàn)。

4、X Gen

X Gen是一個(gè)由Salesforce AI首創(chuàng)的70億參數(shù)的小模型，主要專注于對話和各種任務(wù)，如文本生成、翻譯和代碼完成。憑借70億參數(shù)的緊湊尺寸，X Gen提供了計(jì)算效率，促進(jìn)了更廣泛的部署。

擁有多語言功能和Salesforce AI的持續(xù)開發(fā)努力，X Gen成為一個(gè)有價(jià)值的工具，應(yīng)用范圍從創(chuàng)意寫作、內(nèi)容創(chuàng)作到軟件開發(fā)和語言學(xué)習(xí)。

5、QWen系列

阿里巴巴今年發(fā)布的Qwen系列，作為一個(gè)強(qiáng)大的語言模型家族脫穎而出。該系列具有參數(shù)大小和功能不同的各種模型，可用于文本生成、翻譯、問答、視覺和語言任務(wù)以及音頻處理等各種應(yīng)用。

這些模型的關(guān)鍵特性包括高性能、多語言支持和開源可用性，使研究人員和開發(fā)人員可以訪問它們。阿里巴巴的Qwen系列包括Qwen-1.8 b, Qwen- 7b, Qwen- 14b和Qwen- 72b。

6、Alpaca 7B

Alpaca 7B是 LLaMA-7B 的微調(diào)版本，以其卓越的緊湊性和成本效益而聞名，建造成本不到600美元。盡管Alpaca 7B的體積很小，但它表現(xiàn)出了相當(dāng)不錯(cuò)的性能，在某些任務(wù)中可以與更大的模型相媲美。

這種可負(fù)擔(dān)性和效率使Alpaca 7B成為各種應(yīng)用程序的可訪問選項(xiàng)，展示了在預(yù)算友好的框架內(nèi)對自然語言處理產(chǎn)生影響的發(fā)展?jié)摿Α?/p>

7、MPT

這是創(chuàng)業(yè)公司Mosaic ML推出的70億參數(shù)小型語言模型，位于代碼生成和創(chuàng)造性文本格式的交叉點(diǎn)，為程序員和藝術(shù)家提供專業(yè)功能。MPT旨在提高生產(chǎn)力，擅長生成精確的代碼片段，自動(dòng)化任務(wù)，并通過各種創(chuàng)造性的文本格式激發(fā)藝術(shù)表達(dá)。

它的潛在應(yīng)用跨越了軟件開發(fā)、創(chuàng)意寫作、內(nèi)容創(chuàng)建、教育和可訪問性工具，展示了MPT在技術(shù)和創(chuàng)意領(lǐng)域的適應(yīng)性和承諾。

8、Falcon 7B

由阿聯(lián)酋技術(shù)創(chuàng)新研究所(TII)制作的Falcon 7B是Falcon系列自回歸語言模型的杰出補(bǔ)充，因其出色的性能而著稱。為了提高聊天和問答等簡單任務(wù)的效率，這個(gè)70億參數(shù)的模型進(jìn)行了優(yōu)化，以處理大量文本數(shù)據(jù)語料庫，包括大約1萬億token。自發(fā)布以來，F(xiàn)alcon模型已經(jīng)在Hugging Face排行榜上停留了很長一段時(shí)間。