陳丹琦團(tuán)隊(duì)新作：5%成本拿下SOTA，“羊駝剪毛”大法火了

作者：夢(mèng)晨 2023-10-12 12:13:16

人工智能新聞

LLM-Shearing，具體來說是一種定向結(jié)構(gòu)化剪枝，將一個(gè)大模型剪枝到指定的目標(biāo)結(jié)構(gòu)。

只用3%的計(jì)算量、5%的成本取得SOTA，統(tǒng)治了1B-3B規(guī)模的開源大模型。

這一成果來自普林斯頓陳丹琦團(tuán)隊(duì)，名為LLM-Shearing大模型剪枝法。

以羊駝LLaMA 2 7B為基礎(chǔ)，通過定向結(jié)構(gòu)化剪枝得到1.3B和3B剪枝后的Sheared-LLama模型。

分別在下游任務(wù)評(píng)估上超越之前的同等規(guī)模模型。

一作夏夢(mèng)舟表示，“比從頭開始預(yù)訓(xùn)練劃算很多”。

論文中也給出了剪枝后的Sheared-LLaMA輸出示例，表示盡管規(guī)模只有1.3B和2.7B，也已經(jīng)能生成連貫且內(nèi)容豐富的回復(fù)。

相同的“扮演一個(gè)半導(dǎo)體行業(yè)分析師”任務(wù)，2.7B版本的回答結(jié)構(gòu)上還要更清晰一些。

團(tuán)隊(duì)表示雖然目前只用Llama 2 7B版做了剪枝實(shí)驗(yàn)，但該方法可以擴(kuò)展到其他模型架構(gòu)，也能擴(kuò)展到任意規(guī)模。

另外還有一個(gè)好處，剪枝后可自行選用優(yōu)質(zhì)的數(shù)據(jù)集繼續(xù)預(yù)訓(xùn)練。

有開發(fā)者表示，6個(gè)月前還幾乎所有人都認(rèn)為65B以下的模型沒有任何實(shí)際用處。

照這樣下去，我敢打賭1B-3B模型也能產(chǎn)生巨大價(jià)值，如果不是現(xiàn)在，也是不久以后。

把剪枝當(dāng)做約束優(yōu)化

LLM-Shearing，具體來說是一種定向結(jié)構(gòu)化剪枝，將一個(gè)大模型剪枝到指定的目標(biāo)結(jié)構(gòu)。

之前的剪枝方法可能會(huì)導(dǎo)致模型性能下降，因?yàn)闀?huì)刪除一些結(jié)構(gòu)，影響表達(dá)能力。

新方法將剪枝看成一種約束優(yōu)化問題，學(xué)習(xí)剪枝掩碼矩陣來搜索與指定結(jié)構(gòu)匹配的子網(wǎng)絡(luò)，同時(shí)以最大化性能為目標(biāo)。

接下來對(duì)剪枝過的模型進(jìn)行繼續(xù)預(yù)訓(xùn)練，在一定程度上恢復(fù)剪枝造成的性能損失。

在這個(gè)階段，團(tuán)隊(duì)發(fā)現(xiàn)剪枝過的模型與從頭訓(xùn)練的模型對(duì)不同數(shù)據(jù)集的損失下降速率不一樣，產(chǎn)生數(shù)據(jù)使用效率低下的問題。

為此團(tuán)隊(duì)提出了動(dòng)態(tài)批量加載（Dynamic Batch Loading），根據(jù)模型在不同域數(shù)據(jù)上的損失下降速率動(dòng)態(tài)調(diào)整每個(gè)域的數(shù)據(jù)所占比例，提高數(shù)據(jù)使用效率。