目前，Transformer 模型展現(xiàn)出了強(qiáng)大的性能。而了解 Transformer 模型的參數(shù)量對于評估模型的規(guī)模、復(fù)雜度以及計(jì)算資源需求等具有重要意義。下面將詳細(xì)闡述如何計(jì)算 Transformer 模型的參數(shù)量。

一、Transformer 模型的基本結(jié)構(gòu)回顧

Transformer 模型主要由編碼器（Encoder）和解碼器（Decoder）組成。其中，編碼器包含多個(gè)相同的層級，每個(gè)層級包括多頭自注意力機(jī)制（Multi - Head Self - Attention）和前饋神經(jīng)網(wǎng)絡(luò)（Feed - Forward Neural Network）這兩個(gè)子層。解碼器的結(jié)構(gòu)與編碼器類似，但多了一個(gè)注意力機(jī)制（Attention）子層，用于關(guān)注編碼器的輸出。

二、Transformer 各部分參數(shù)量的計(jì)算方法

1. 嵌入層（Embedding Layer）

• 嵌入層的作用是將輸入的詞或標(biāo)記轉(zhuǎn)換為固定維度的向量。假設(shè)詞匯表的大小為 V，嵌入向量的維度為 d_model。那么嵌入層的參數(shù)量就是 V × d_model。例如，當(dāng)詞匯表大小 V = 10000，d_model = 512 時(shí)，嵌入層的參數(shù)量為 10000 × 512 = 5,120,000。

2. 多頭自注意力機(jī)制（Multi - Head Self - Attention）

• 多頭自注意力機(jī)制由多個(gè)注意力頭組成。每個(gè)注意力頭包括三個(gè)線性變換，分別是查詢（Query）、鍵（Key）和值（Value）的變換。假設(shè)有 h 個(gè)注意力頭，每個(gè)頭的維度為 d_k（通常 d_k = d_model / h）。
• 對于每個(gè)注意力頭的查詢、鍵和值的變換，參數(shù)量分別是 d_model × d_k。因?yàn)橛?h 個(gè)注意力頭，所以總共有 3 × h × d_model × d_k 參數(shù)用于這些線性變換。
• 例如，當(dāng) d_model = 512，h = 8 時(shí)，每個(gè)注意力頭的維度 d_k = 512 / 8 = 64。那么查詢、鍵和值變換的總參數(shù)量為 3 × 8 × 512 × 64 = 786,432。
• 另外，在多頭自注意力機(jī)制的最后，還有一個(gè)線性變換將拼接后的各個(gè)注意力頭的輸出轉(zhuǎn)換回 d_model 維度，這部分的參數(shù)量是 h × d_k × d_model。在上述例子中，這個(gè)線性變換的參數(shù)量為 8 × 64 × 512 = 262,144。
• 所以，整個(gè)多頭自注意力機(jī)制的參數(shù)量為 3 × h × d_model × d_k + h × d_k × d_model = 2 × h × d_model × d_k + h × d_k × d_model = 3 × h × d_model × d_k（因?yàn)樵谟?jì)算過程中，前面的三個(gè)線性變換可以看作是相當(dāng)于兩個(gè)的參數(shù)量，加上最后的線性變換，所以總參數(shù)量可以表示為 3 × h × d_model × d_k）。不過更準(zhǔn)確的計(jì)算是將各個(gè)部分相加，如上述例子中的總參數(shù)量為 786,432 + 262,144 = 1,048,576。

3. 前饋神經(jīng)網(wǎng)絡(luò)（Feed - Forward Neural Network）

• Transformer 中的前饋神經(jīng)網(wǎng)絡(luò)通常是位置 - 智能的，每個(gè)位置都有相同的結(jié)構(gòu)。它包括兩個(gè)線性變換，中間有一個(gè)激活函數(shù)（一般是 ReLU）。假設(shè)前饋神經(jīng)網(wǎng)絡(luò)的隱藏層維度為 d_ff。
• 第一個(gè)線性變換的參數(shù)量是 d_model × d_ff，第二個(gè)線性變換的參數(shù)量是 d_ff × d_model。因此，前饋神經(jīng)網(wǎng)絡(luò)的參數(shù)量為 d_model × d_ff + d_ff × d_model = 2 × d_model × d_ff。
• 例如，當(dāng) d_model = 512，d_ff = 2048 時(shí)，前饋神經(jīng)網(wǎng)絡(luò)的參數(shù)量為 2 × 512 × 2048 = 2,097,152。

4. 編碼器層級之間的參數(shù)

• 一個(gè)完整的編碼器層級包括多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)，以及殘差連接和層歸一化（Layer Normalization）部分。層歸一化部分的參數(shù)量相對較少，每個(gè)層歸一化有 2 × d_model 個(gè)參數(shù)（包括一個(gè)縮放參數(shù)和一個(gè)偏移參數(shù)）。
• 對于一個(gè)編碼器層級，多頭自注意力機(jī)制的參數(shù)量為 1,048,576（以之前的例子為例），前饋神經(jīng)網(wǎng)絡(luò)的參數(shù)量為 2,097,152。兩個(gè)層歸一化（分別在多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)之后）的參數(shù)量為 2 × 2 × 512 = 2,048。所以一個(gè)編碼器層級的總參數(shù)量約為 1,048,576 + 2,097,152 + 2,048 = 3,147,776。
• 如果有 N 個(gè)編碼器層級，編碼器部分的總參數(shù)量約為 N × 3,147,776（以這個(gè)例子中的單層參數(shù)量為例）。

5. 解碼器部分的參數(shù)

• 解碼器的結(jié)構(gòu)與編碼器類似，但多了一個(gè)注意力機(jī)制子層，用于關(guān)注編碼器的輸出。這個(gè)額外的注意力機(jī)制的參數(shù)量計(jì)算與多頭自注意力機(jī)制類似。
• 假設(shè)解碼器有 M 個(gè)層級，除了與編碼器類似的多頭自注意力機(jī)制（用于解碼器內(nèi)部的自注意力）、前饋神經(jīng)網(wǎng)絡(luò)和層歸一化部分外，還會增加一個(gè)注意力機(jī)制（用于關(guān)注編碼器輸出）的參數(shù)量。同樣以 d_model = 512，h = 8 為例，這個(gè)額外的注意力機(jī)制的參數(shù)量為 3 × h × d_model × d_k + h × d_k × d_model = 1,048,576（與編碼器的多頭自注意力機(jī)制參數(shù)量相同）。
• 所以，一個(gè)解碼器層級的總參數(shù)量約為編碼器層級的參數(shù)量（3,147,776）加上這個(gè)額外的注意力機(jī)制的參數(shù)量（1,048,576），即 3,147,776 + 1,048,576 = 4,196,352。如果有 M 個(gè)解碼器層級，解碼器部分的總參數(shù)量約為 M × 4,196,352。

6. 輸出層（Output Layer）

• 輸出層通常是一個(gè)線性變換，將解碼器的輸出映射到詞匯表的維度。其參數(shù)量為 d_model × V。例如，當(dāng) d_model = 512，V = 10000 時(shí)，輸出層的參數(shù)量為 512 × 10000 = 5,120,000。

三、總結(jié) Transformer 模型的總參數(shù)量

Transformer 模型的總參數(shù)量等于嵌入層參數(shù)量 + 編碼器部分參數(shù)量 + 解碼器部分參數(shù)量 + 輸出層參數(shù)量。通過上述詳細(xì)的計(jì)算步驟，我們可以較為準(zhǔn)確地計(jì)算出 Transformer 模型的參數(shù)量，這有助于我們在實(shí)際應(yīng)用中根據(jù)需求來調(diào)整模型規(guī)模，以平衡模型性能和計(jì)算資源消耗。例如，在資源有限的設(shè)備上，我們可以減小模型的參數(shù)量，如減少編碼器或解碼器的層級數(shù)，或者降低 d_model 和 d_ff 的維度等，來適應(yīng)設(shè)備的計(jì)算能力。

本文轉(zhuǎn)載自??智駐未來??????，作者：小智