Llama 3首發(fā)陣容里沒(méi)有的120B型號(hào)竟意外“曝光”，而且十分能打？！

最近這樣一個(gè)號(hào)稱是「Llama3-120b」的神秘大模型火了起來(lái)，原因在于它表現(xiàn)太出色了——

輕松擊敗GPT-4、gpt2-chatbot那種。

比如，面對(duì)像「觀察希格斯場(chǎng)是否會(huì)改變其狀態(tài)」這樣的艱深難題時(shí)。

GPT-4冷酷而決絕：No；

但Llama3-120b就不一樣了，“只有當(dāng)我們質(zhì)疑量子力學(xué)的哥本哈根解釋時(shí)，讓我來(lái)解釋一下……”

還有就是讓LIama3-120B解釋笑話，并同兩個(gè)gpt2-chatbot比較：im-a-good-gpt2-chatbot；im-also-a-good-gpt2-chatbot。

I randomly walked past the grave of bayes yesterday, but being a frequentist i didn’t bother taking a photo。

（昨天我偶然路過(guò)貝葉斯墓，但我是頻率學(xué)派，懶得拍照。）

首先，他們?nèi)齻€(gè)都判斷出這是關(guān)于兩種統(tǒng)計(jì)學(xué)派的笑話，以及兩個(gè)學(xué)派是相對(duì)對(duì)立的情況：
Frequentist頻率學(xué)派只關(guān)注從抽樣/實(shí)驗(yàn)的結(jié)果中提取信息，Bayesian貝葉斯學(xué)派還會(huì)設(shè)置一個(gè)主觀的先驗(yàn)信息。

但兩個(gè)gpt2-chatbot給出進(jìn)一步解釋是，正是因?yàn)轭l率學(xué)派并不認(rèn)同對(duì)貝葉斯理論，所以對(duì)貝葉斯墓不感興趣，更不會(huì)以他為榮而拍照。

而LIama3-120B精準(zhǔn)指出笑點(diǎn)在“ i didn’t bother taking a photo”，并給出了更深一層的解釋。

因?yàn)樽鳛轭l率學(xué)派，會(huì)認(rèn)為碰到貝葉斯墓的概率幾乎為零。這樣的小概率事件也不值得去拍照或者干一些有意義的事情。

哦莫，說(shuō)的好有道理……

另外題外話，它的回答格式十分工整，讓人看了賞心悅目。

除此之外，網(wǎng)友發(fā)現(xiàn)它還能創(chuàng)造出谷歌搜到0結(jié)果的新單詞。

以及直接回答含糊的問(wèn)題，不用交代背景，這不比ChatGPT好多了。

（沒(méi)有說(shuō)ChatGPT不好的意思）

有評(píng)測(cè)過(guò)后的網(wǎng)友感嘆：它太聰明了，我不會(huì)再擺弄它了。因?yàn)樗凶约旱南敕?/strong>。

這真的是我用過(guò)最聰明的大模型了。

有網(wǎng)友找了半天也找不到官方來(lái)源……

與此同時(shí)，更多版本也開(kāi)始出現(xiàn)了，比如170B、225B…嗯，一版更比一版強(qiáng)。

Llama 3 120B竟意外能打

這兩天，社交網(wǎng)絡(luò)上出現(xiàn)了各種關(guān)于Llama3 120B玩法。

比如推導(dǎo)解釋一些理論，Omega假設(shè)。

有創(chuàng)造一些新單詞，比如prefaceate、driftift等

并且給它一個(gè)完整的解釋和定義。

甚至還有人整了個(gè)評(píng)測(cè)，去評(píng)估這個(gè)來(lái)路不明的大模型。結(jié)果在創(chuàng)意寫(xiě)作測(cè)試中成績(jī)還不錯(cuò)，排名第6，超過(guò)GPT-4、Claude3-Haiku等模型。

既然如此，這個(gè)非官方的大模型Llama3 120B又是怎么來(lái)的呢？

據(jù)作者介紹，它是用MergeKit制作，將Meta官方LIama3 70B模型合并（Self-Merge）

MergeKit咋是專門(mén)用來(lái)合并預(yù)訓(xùn)練模型的工具包，合并可以完全在 CPU 上運(yùn)行，也可以使用低至8GB的VRAM進(jìn)行加速。在GitHub上已經(jīng)收獲3.6k星。

目前支持Llama、Mistral、GPT-NeoX、StableLM 等模型。

△支持的合并算法

作者M(jìn)axime Labonne是一位資深機(jī)器學(xué)習(xí)專家，目前在一家通用大模型創(chuàng)業(yè)公司LiquidAI工作。

他博士畢業(yè)于巴黎理工學(xué)院，他在2019年開(kāi)始研究大語(yǔ)言模型和圖神經(jīng)網(wǎng)絡(luò)，并將他們應(yīng)用到不同環(huán)境中，比如研發(fā)、工業(yè)、金融等，撰寫(xiě)過(guò)書(shū)籍《Hands-On Graph Neural Networks using Python》。

他也是開(kāi)發(fā)者社區(qū)的活躍開(kāi)發(fā)者，在HuggingFace上發(fā)布過(guò)各種LLM， 例如AlpahMonarch-7B、Beyonder-4x7B、Phixtral 和 NeuralBeagle14。以及一些工具，例如 LLM AutoEval、LazyMergekit、LazyZxolotl 和 AutoGGUF。

在GitHub上他的關(guān)于大模型課程，收獲29.5K Star。

不過(guò)對(duì)于這個(gè)「縫合」大模型的使用，作者建議可以用來(lái)創(chuàng)意寫(xiě)作。

在多方評(píng)估中可以看到，它有時(shí)候會(huì)出現(xiàn)神經(jīng)混亂，但寫(xiě)作風(fēng)格不錯(cuò)。另外有時(shí)候還會(huì)出現(xiàn)拼寫(xiě)錯(cuò)誤，并且非常喜歡大寫(xiě)字母。

而且由于覺(jué)得這個(gè)版本的推理能力比較差，于是作者再做了個(gè)225B的。

網(wǎng)友：看完更期待官方400B了

有網(wǎng)友猜測(cè)為什么LIama3-120B能這么強(qiáng)。

一方面，LIama3-70B自己確實(shí)很強(qiáng)，剛發(fā)布時(shí)就迅速躍居排行榜榜首。HuggingFace上顯示，上個(gè)月下載次數(shù)就超過(guò)了27萬(wàn)次。

lmsysorg就深入分析了LIama3的實(shí)力，簡(jiǎn)單來(lái)說(shuō)，LIama3在開(kāi)放式寫(xiě)作和創(chuàng)意問(wèn)題上擊敗了頂尖模型，但在封閉式數(shù)學(xué)和編碼問(wèn)題上就稍弱一點(diǎn)。

不過(guò)隨著提示詞變得更加復(fù)雜，LIama3的能力也就下降得很明顯。

以及在輸出內(nèi)容上面，LIama3的輸出比其他模型更友好，也更具對(duì)話性。

除此之外，也有網(wǎng)友分析這與模型深度有關(guān)。

事實(shí)上與LIama3-70B唯一的區(qū)別是額外的Layer，甚至是復(fù)制的，沒(méi)有新的訓(xùn)練數(shù)據(jù)。。

這意味著，120B大模型的智能水平是從模型的深度產(chǎn)生的。“這不僅僅是訓(xùn)練數(shù)據(jù)的函數(shù)，它是數(shù)據(jù)和深度的結(jié)合”。

有網(wǎng)友嘗試本地部署，Ollama上已經(jīng)支持下載。網(wǎng)友表示：它使用48 GB VRAM + 38 GB 系統(tǒng) RAM。

啊這……走了走了。

有提供GGUF形式的LMStudioAI，也很直接地說(shuō)：不適合內(nèi)存不足的人。

原作者也很逗趣地表示：是時(shí)候跟你的RAM做告別了。

但不管怎么說(shuō)，已經(jīng)在期待更多官方型號(hào)了。

比如，400B那種。