為了處理更復(fù)雜的任務(wù)，近年來神經(jīng)網(wǎng)絡(luò)的規(guī)模也在不斷變大，如何高效的儲存和傳輸神經(jīng)網(wǎng)絡(luò)變得十分重要。另一方面，隨著彩票假說（Lottery Ticket Hypothesis (LTH)）的提出，隨機(jī)稀疏神經(jīng)網(wǎng)絡(luò)最近展現(xiàn)出很強(qiáng)的潛力，如何利用這種潛力來提高網(wǎng)絡(luò)的存儲和傳輸效率也很值得探索。

來自美國東北大學(xué)和羅切斯特理工的研究者提出參數(shù)集約型掩碼網(wǎng)絡(luò)（Parameter-Efficient Masking Networks (PEMN)）。作者首先探索了有限數(shù)量隨機(jī)數(shù)生成的隨機(jī)網(wǎng)絡(luò)的表征能力。實(shí)驗表明，即使網(wǎng)絡(luò)由有限數(shù)量的隨機(jī)數(shù)生成，通過選擇不同的子網(wǎng)絡(luò)結(jié)構(gòu)，其依然具有很好的表征能力。

通過這種探索性實(shí)驗，作者自然地提出使用一組有限數(shù)量隨機(jī)數(shù)作為 prototype，結(jié)合一組 mask 來表達(dá)一個神經(jīng)網(wǎng)絡(luò)。因為有限數(shù)量的隨機(jī)數(shù)和二值的 mask 占用很少的儲存空間，作者以此來提出一種新的思路來進(jìn)行網(wǎng)絡(luò)壓縮。文章已被 NeurIPS 2022 接受。代碼已開源。

• 論文地址: https://arxiv.org/abs/2210.06699
• 論文代碼:  https://github.com/yueb17/PEMN

1. 相關(guān)研究

MIT 研究人員提出彩票假說 Lottery Ticket Hypothesis (ICLR’19)：在一個隨機(jī)初始化網(wǎng)絡(luò)中，存在一個彩票子網(wǎng)絡(luò)（winning ticket）在被單獨(dú)訓(xùn)練的情況下達(dá)到很好的效果。彩票假說探索了隨機(jī)稀疏網(wǎng)絡(luò)的可訓(xùn)練性。Uber 研究人員提出 Supermask (NeurIPS’19)：在一個隨機(jī)初始化網(wǎng)絡(luò)中，存在一個子網(wǎng)絡(luò)，可以直接用來做推斷而不需要訓(xùn)練。Supermask 探索了隨機(jī)稀疏網(wǎng)絡(luò)的可用性。華盛頓大學(xué)研究人員提出 Edge-Popup (CVPR’20)：通過反向傳播學(xué)習(xí)子網(wǎng)絡(luò)的 mask，大幅提升了隨機(jī)稀疏網(wǎng)絡(luò)的可用性。

2. 研究動機(jī) / 流程

以上相關(guān)研究從不同角度探索了隨機(jī)稀疏網(wǎng)絡(luò)的潛力，如可訓(xùn)練性和可用性，其中可用性也可以理解為表征能力。在此工作中，作者感興趣的是由隨機(jī)數(shù)生成的神經(jīng)網(wǎng)絡(luò)在不訓(xùn)練權(quán)重的情況下有多強(qiáng)的表征能力。隨著對該問題的探索，作者提出了 Parameter-Efficient Masking Networks (PEMN)。自然地，作者運(yùn)用 PEMN 為網(wǎng)絡(luò)壓縮提供了一種新的思路，并作為一個例子對 PEMN 的潛在應(yīng)用場景進(jìn)行探索。

3. 探索隨機(jī)數(shù)構(gòu)成的神經(jīng)網(wǎng)絡(luò)的表征能力

給定一個隨機(jī)網(wǎng)絡(luò)，作者選擇 Edge-Popup 算法在其中選擇子網(wǎng)絡(luò)來探索其表征能力。不同的是，相對于對整個網(wǎng)絡(luò)進(jìn)行隨機(jī)初始化，作者提出了三種參數(shù)集約型的網(wǎng)絡(luò)生成策略來使用一個 prototype 構(gòu)建隨機(jī)網(wǎng)絡(luò)。

• One-layer: 選擇網(wǎng)絡(luò)中重復(fù)結(jié)構(gòu)的權(quán)重作為 prototype 來填充其他的與之結(jié)構(gòu)相同的網(wǎng)絡(luò)層。
• Max-layer padding (MP): 選擇參數(shù)量最多的網(wǎng)絡(luò)層作為 prototype 并且截斷相應(yīng)的參數(shù)量來填充其他網(wǎng)絡(luò)層。
• Random vector padding (RP): 選擇一定長度的隨機(jī)向量作為 prototype 并對其進(jìn)行復(fù)制來填充整個網(wǎng)絡(luò)。

三種不同的隨機(jī)網(wǎng)絡(luò)生成策略把網(wǎng)絡(luò)中不重復(fù)參數(shù)值（unique values）的數(shù)量逐步變小，我們基于不同策略得到的隨機(jī)網(wǎng)絡(luò)來選擇子網(wǎng)絡(luò)，從而探索了有限數(shù)量隨機(jī)數(shù)生成的隨機(jī)網(wǎng)絡(luò)的表征潛力。

上圖展示了使用 ConvMixer 和 ViT 網(wǎng)絡(luò) CIFAR10 圖像分類的實(shí)驗結(jié)果。Y 軸為準(zhǔn)確率，X 軸為使用不同策略得到的隨機(jī)網(wǎng)絡(luò)。隨之 X 軸的變大，隨機(jī)網(wǎng)絡(luò)中不重復(fù)隨機(jī)數(shù)數(shù)量逐漸變小 （RP 后的數(shù)字表示相比較于 MP，RP 中不重復(fù)隨機(jī)數(shù)數(shù)量的比例）。

根據(jù)實(shí)驗結(jié)果，我們觀察到即使隨機(jī)網(wǎng)絡(luò)只有非常有限的不重復(fù)隨機(jī)數(shù)（比如 PR_1e-3），依然可以很好的維持選擇出來的子網(wǎng)絡(luò)的表征能力。至此，作者通過不同的隨機(jī)網(wǎng)絡(luò)生成策略，探索了有限數(shù)量隨機(jī)數(shù)構(gòu)成的神經(jīng)網(wǎng)絡(luò)的表征能力并觀察到即使不重復(fù)隨機(jī)數(shù)非常有限，其對應(yīng)的隨機(jī)網(wǎng)絡(luò)依然可以很好地對數(shù)據(jù)進(jìn)行表征。

同時作者基于這些隨機(jī)網(wǎng)絡(luò)生成策略，結(jié)合所得到的子網(wǎng)絡(luò)掩碼，提出了 Parameter-Efficient Masking Networks（PEMN）這種新的神經(jīng)網(wǎng)絡(luò)類型。

4. 一種新的網(wǎng)絡(luò)壓縮思路

本文選擇了神經(jīng)網(wǎng)路壓縮為例來拓展 PEMN 的潛在應(yīng)用。具體來說，文中所提出的不同隨機(jī)網(wǎng)絡(luò)生成策略可以高效的使用 prototype 來代表完整的隨機(jī)網(wǎng)絡(luò)，尤其是最細(xì)粒度的 random vector padding （RP）策略。

作者使用 RP 策略中的隨機(jī)向量 prototype 和與之對應(yīng)的一組子網(wǎng)絡(luò)掩碼來表示一個隨機(jī)網(wǎng)絡(luò)。在其中 prototype 需要保存浮點(diǎn)數(shù)格式，而掩碼只需要保存成二值格式。因為 RP 中的 prototype 長度可以很短（因為有限數(shù)量的不重復(fù)隨機(jī)數(shù)仍有很強(qiáng)的表征能力），所以表示一個神經(jīng)網(wǎng)絡(luò)的開銷會變得很小，即儲存一個長度有限的浮點(diǎn)數(shù)格式的隨機(jī)向量和一組二值格式的掩碼。相比較于傳統(tǒng)的稀疏網(wǎng)絡(luò)儲存子網(wǎng)絡(luò)的浮點(diǎn)值，本文提出了一種新的網(wǎng)絡(luò)壓縮思路用來高效的儲存和傳輸神經(jīng)網(wǎng)絡(luò)。

在上圖中，作者使用 PEMN 對網(wǎng)絡(luò)進(jìn)行壓縮并與傳統(tǒng)的網(wǎng)絡(luò)剪枝方法進(jìn)行對比。實(shí)驗使用 ResNet 網(wǎng)絡(luò)在 CIFAR 數(shù)據(jù)集做圖像分類任務(wù)。我們觀察到，新的壓縮方案表現(xiàn)普遍優(yōu)于傳統(tǒng)的網(wǎng)絡(luò)剪枝，尤其是在很高的壓縮率下，PEMN 仍然可以維持較好的準(zhǔn)確率。

5. 結(jié)論

本文受近來隨機(jī)網(wǎng)絡(luò)展現(xiàn)出來的潛力所啟發(fā)，提出不同種參數(shù)集約策略來構(gòu)建隨機(jī)神經(jīng)網(wǎng)絡(luò)，進(jìn)而探索了在只有有限的不重復(fù)隨機(jī)數(shù)的情況下所生成的隨機(jī)神經(jīng)網(wǎng)絡(luò)的表征潛力，并提出參數(shù)集約型掩碼網(wǎng)絡(luò) Parameter-Efficient Masking Networks (PEMN)。作者將 PEMN 應(yīng)用到網(wǎng)絡(luò)壓縮的場景中探索了其在實(shí)際應(yīng)用方面的潛力并且為網(wǎng)絡(luò)壓縮提供了一種新的思路。作者提供了廣泛的實(shí)驗，表明即使隨機(jī)網(wǎng)絡(luò)中只有非常有限的不重復(fù)隨機(jī)數(shù)，通過子網(wǎng)絡(luò)的選擇，其依然有較好的表征能力。此外，相比較于傳統(tǒng)剪枝算法，實(shí)驗表明新提出的方法可以取得更好的網(wǎng)絡(luò)壓縮效果，驗證了 PEMN 在該場景下的應(yīng)用潛力。