谷歌DeepMind的小模型，又上新了！

就在剛剛，谷歌DeepMind發(fā)布Gemma 2 2B。

它是從Gemma 2 27B中蒸餾而來。

雖然它的參數(shù)只有2.6B，但在LMSYS競技場上的得分，已經(jīng)超越了GPT-3.5和Mixtral 8x7B！

在MMLU和MBPP基準(zhǔn)測試中，它分別取得了56.1和36.6的優(yōu)異成績；比起前代模型Gemma 1 2B，它的性能超過了10%。

小模型擊敗了大幾個(gè)數(shù)量級(jí)的大模型，再一次印證了最近業(yè)界非常看好的小模型方向。

谷歌在今天，一共公布了Gemma 2家族的三個(gè)新成員：

• Gemma 2 2B：輕量級(jí)2B模型，在性能和效率之間實(shí)現(xiàn)了最大的平衡
• ShieldGemma：基于Gemma 2構(gòu)建的安全內(nèi)容分類器模型，用于過濾AI模型的輸入和輸出，確保用戶安全
• Gemma Scope：一種可解釋性工具，提供對模型內(nèi)部運(yùn)行機(jī)制的無與倫比的洞察

6月，27B和9B Gemma 2模型誕生。

自發(fā)布以來，27B模型迅速成為大模型排行榜上，排名前列的開源模型之一，甚至在實(shí)際對話中表現(xiàn)超過了參數(shù)數(shù)量大兩倍的流行模型。

Gemma 2 2B：即刻在設(shè)備上使用

輕量級(jí)小模型Gemma 2 2B，是從大模型中蒸餾而來，性能毫不遜色。

在大模型競技場LMSYS上，新模型取得令人印象深刻的1130分，與10倍參數(shù)的模型不相上下。

GPT-3.5-Turbo-0613得分為1117，Mixtral-8x7b得分為1114。

足見，Gemma 2 2B是最好的端側(cè)模型。

有網(wǎng)友在iPhone 15 Pro上，讓量化后的Gemma 2 2B在MLX Swift上運(yùn)行，速度快到驚人。

具體來說，它能夠在各種終端設(shè)備，包括手機(jī)、筆記本，甚至是使用Vertex AI和Google Kubernetes Engine（GKE）強(qiáng)大的云，皆能完成部署。

為了讓模型加速，它通過NVIDIA TensorRT-LLM完成了優(yōu)化，在NVIDIA NIM平臺(tái)也可使用。

優(yōu)化后的模型適用于各種平臺(tái)部署，包括數(shù)據(jù)中心、云、本地工作站、PC 和邊緣設(shè)備。

它還可以支持RTX、RTX GPU、Jetson模塊，完成邊緣化AI部署。

此外，Gemma 2 2B無縫集成了Keras、JAX、Hugging Face、NVIDIA NeMo、Ollama、Gemma.cpp等，并很快將與MediaPipe集成，實(shí)現(xiàn)簡化開發(fā)。

當(dāng)然，與Gemma 2一樣，2B模型也同樣可以用來研究和商用。

甚至，由于其參數(shù)量足夠下，它可以在Google Colab的免費(fèi)T4 GPU層上運(yùn)行，降低了開發(fā)門檻。

目前，每位開發(fā)者都可以從Kaggle、Hugging Face、Vertex AI Model Garden下載Gemma 2的模型權(quán)重，也可在Google AI Studio中試用其功能。

倉庫地址：https://huggingface.co/collections/google/gemma-2-2b-release-66a20f3796a2ff2a7c76f98f

ShieldGemma：最先進(jìn)的安全分類器

正如其名，ShieldGemma是最先進(jìn)的安全分類器，確保AI輸出內(nèi)容具有吸引力、安全、包容，檢測和減少有害內(nèi)容輸出。

ShieldGemma的設(shè)計(jì)專門針對四個(gè)關(guān)鍵的有害領(lǐng)域：

- 仇恨言論

- 騷擾內(nèi)容

- 露骨內(nèi)容

- 危險(xiǎn)內(nèi)容

這些開源分類器，是對谷歌現(xiàn)有的負(fù)責(zé)任AI工具包中安全分類器套件補(bǔ)充。

該工具包包括一種，基于有限數(shù)據(jù)點(diǎn)構(gòu)建針對特定策略分類器的方法，以及通過API提供的現(xiàn)成Google Cloud分類器。

ShieldGemma基于Gemma 2構(gòu)建，是行業(yè)領(lǐng)先的安全分類器。

它提供了各種模型參數(shù)規(guī)模，包括2B、9B、27B，都經(jīng)過英偉達(dá)速度優(yōu)化，在各種硬件中可以高效運(yùn)行。

其中，2B非常適合在線分類任務(wù)，而9B和27B版本則為對延遲要求較低的離線應(yīng)用提供更高性能。

Gemma Scope：通過開源稀疏自編碼器揭示AI決策過程

此次同時(shí)發(fā)布的另一大亮點(diǎn)，就是開源稀疏自編碼器——Gemma Scope了。

語言模型的內(nèi)部，究竟發(fā)生了什么？長久以來，這個(gè)問題一直困擾著研究人員和開發(fā)者。

語言模型的內(nèi)部運(yùn)作方式往往是一個(gè)謎，即使對于訓(xùn)練它們的研究人員，也是如此。

而Gemma Scope就仿佛一個(gè)強(qiáng)大的顯微鏡，通過稀疏自編碼器 (SAEs) 放大模型中的特定點(diǎn)，從而使模型的內(nèi)部工作更易于解釋。

有了Gemma Scope以后，研究人員和開發(fā)者就獲得了前所未有的透明度，能夠深入了解Gemma 2模型的決策過程。

Gemma Scope是數(shù)百個(gè)適用于Gemma 2 9B和Gemma 2 2B的免費(fèi)開放稀疏自動(dòng)編碼器 (SAE) 的集合。

這些SAEs是專門設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)，可以幫助我們解讀由Gemma 2處理的密集、復(fù)雜信息，將其擴(kuò)展成更易于分析和理解的形式。

通過研究這些擴(kuò)展視圖，研究人員就可以獲得寶貴的信息，了解Gemma 2如何識(shí)別模式、處理信息、做出預(yù)測。

有了Gemma Scope，AI社區(qū)就可以更容易地構(gòu)建更易理解、負(fù)責(zé)任和可靠的AI系統(tǒng)了。

同時(shí)，谷歌DeepMind還放出了一份20頁的技術(shù)報(bào)告。

技術(shù)報(bào)告：https://storage.googleapis.com/gemma-scope/gemma-scope-report.pdf

總結(jié)來說， Gemma Scope有以下3個(gè)創(chuàng)新點(diǎn)——

• 開源SAEs：超過400個(gè)免費(fèi)提供的SAEs，覆蓋Gemma 2 2B和9B的所有層
• 互動(dòng)演示：在Neuronpedia上無需編寫代碼，即可探索SAE功能，并分析模型行為
• 易于使用的資源庫：提供與SAEs和Gemma 2交互的代碼和示例

解讀語言模型內(nèi)部的運(yùn)作機(jī)制

語言模型的可解釋性問題，為什么這么難？

這要從LLM的運(yùn)行原理說起。

當(dāng)你向LLM提出問題時(shí)，它會(huì)將你的文本輸入轉(zhuǎn)換為一系列「激活」。這些激活映射了你輸入的詞語之間的關(guān)系，幫助模型在不同詞語之間建立聯(lián)系，據(jù)此生成答案。

在模型處理文本輸入的過程中，模型神經(jīng)網(wǎng)絡(luò)中不同層的激活代表了多個(gè)逐步高級(jí)的概念，這些概念被稱為「特征」。

例如，模型的早期層可能會(huì)學(xué)習(xí)到像喬丹打籃球這樣的事實(shí)，而后期層可能會(huì)識(shí)別出更復(fù)雜的概念，例如文本的真實(shí)性。

用稀疏自編碼器解讀模型激活的示例——模型是如何回憶「光之城是巴黎」這一事實(shí)的。可以看到與法語相關(guān)的概念存在，而無關(guān)的概念則不存在

然而，可解釋性研究人員卻一直面臨著一個(gè)關(guān)鍵問題：模型的激活，是許多不同特征的混合物。

在研究的早期，研究人員希望神經(jīng)網(wǎng)絡(luò)激活中的特征能與單個(gè)神經(jīng)元（即信息節(jié)點(diǎn)）對齊。

但不幸的是，在實(shí)踐中，神經(jīng)元對許多無關(guān)特征都很活躍。

這也就意味著，沒有什么明顯的方法，能判斷出哪些特征是激活的一部分。

而這，恰恰就是稀疏自編碼器的用武之地。

要知道，一個(gè)特定的激活只會(huì)是少數(shù)特征的混合，盡管語言模型可能能夠檢測到數(shù)百萬甚至數(shù)十億個(gè)特征（也就是說，模型是稀疏地使用特征）。

例如，語言模型在回答關(guān)于愛因斯坦的問題時(shí)會(huì)想到相對論，而在寫關(guān)于煎蛋卷時(shí)會(huì)想到雞蛋，但在寫煎蛋卷時(shí)，可能就不會(huì)想到相對論了。

稀疏自編碼器就是利用了這一事實(shí)，來發(fā)現(xiàn)一組潛在的特征，并將每個(gè)激活分解為少數(shù)幾個(gè)特征。

研究人員希望，稀疏自編碼器完成這項(xiàng)任務(wù)的最佳方式，就是找到語言模型實(shí)際使用的基本特征。

重要的是，在這個(gè)過程中，研究人員并不會(huì)告訴稀疏自編碼器要尋找哪些特征。

因此，他們就能發(fā)現(xiàn)此前未曾預(yù)料過的豐富結(jié)構(gòu)。

然而，因?yàn)樗麄儫o法立即知道這些被發(fā)現(xiàn)特征的確切含義，他們就會(huì)在稀疏自編碼器認(rèn)為特征「觸發(fā)」的文本示例中，尋找有意義的模式。

以下是一個(gè)示例，其中根據(jù)特征觸發(fā)的強(qiáng)度，用藍(lán)色漸變高亮顯示了特征觸發(fā)的 Token：

用稀疏自編碼器發(fā)現(xiàn)特征激活的示例。每個(gè)氣泡代表一個(gè) Token（單詞或詞片段），可變的藍(lán)色說明了這個(gè)特征的存在強(qiáng)度。在這個(gè)例子中，該特征顯然與成語有關(guān)

Gemma Scope有何獨(dú)特之處？

比起此前的稀疏自編碼器，Gemma Scope有許多獨(dú)特之處。

前者主要集中在研究小型模型的內(nèi)部工作原理或大型模型的單層。

但如果要把可解釋性研究做得更深，就涉及到了解碼大型模型中的分層復(fù)雜算法。

這一次，谷歌DeepMind的研究者在Gemma 2 2B和9B的每一層和子層的輸出上，都訓(xùn)練了稀疏自編碼器。

這樣構(gòu)建出來的Gemma Scope，總共生成了超過400個(gè)稀疏自編碼器，獲得了超過 3000萬個(gè)特征（盡管許多特征可能重疊）。

這樣，研究人員就能夠研究特征在整個(gè)模型中的演變方式，以及它們?nèi)绾蜗嗷プ饔茫绾谓M合形成更復(fù)雜的特征。

此外，Gemma Scope使用了最新的、最先進(jìn)的JumpReLU SAE架構(gòu)進(jìn)行了訓(xùn)練。

原始的稀疏自編碼器架構(gòu)，在檢測特征存在與估計(jì)強(qiáng)度這兩個(gè)目標(biāo)之間，往往難以平衡。而JumpReLU架構(gòu)，就能更容易地實(shí)現(xiàn)二者的平衡，并且顯著減少誤差。

當(dāng)然，訓(xùn)練如此多的稀疏自編碼器，也是一項(xiàng)重大的工程挑戰(zhàn)，需要大量的計(jì)算資源。

在這個(gè)過程中，研究者使用了Gemma 2 9B訓(xùn)練計(jì)算量的約15%（不包括生成蒸餾標(biāo)簽所需的計(jì)算），將約20 PiB的激活保存到了磁盤（大約相當(dāng)于一百萬份英文維基百科的內(nèi)容），總共生成了數(shù)千億個(gè)稀疏自編碼器參數(shù)。