前面圖解了Transformer整體架構(gòu)，今天圖解編碼器。

先來個(gè)整體視角：

再逐步分解開來：

????????'?? ?????? ???????????????

編碼器負(fù)責(zé)通過自注意力機(jī)制和前饋層處理輸入的 token，從而生成具有上下文感知的表示。

?? 它是 NLP 模型中理解序列的核心動(dòng)力。

???????? 1.1: ?????????? ????????????????????

編碼器的第一步是將每個(gè)輸入的單詞嵌入為一個(gè)大小為 512 的向量。

?? 這種嵌入過程只發(fā)生在最底層的編碼器中。

可以把它想象成把單詞翻譯成模型能夠理解的語言！??

???????? 1.2: ???????????????????? ??????????????????

Transformer 缺乏循環(huán)結(jié)構(gòu)，因此它們使用位置編碼來表示 token 的位置。

怎么實(shí)現(xiàn)的？

通過正弦和余弦函數(shù)的組合，模型能夠理解句子中單詞的順序！??

???????? 2: ?????????? ???? ?????????????? ????????????

編碼器是層疊的，每一層都會(huì)接收前一層的輸入，并通過多輪自注意力機(jī)制和前饋層進(jìn)一步優(yōu)化輸入。

這有助于更好地理解輸入的上下文！

???????? 2.1: ??????????-???????????? ????????-??????????????????

自注意力機(jī)制讓模型能夠?qū)⑤斎胫械拿總€(gè)詞與其他詞相互關(guān)聯(lián)。

注意力得分基于以下三個(gè)部分：

查詢（Query）

鍵（Key）

值（Value）

這個(gè)過程會(huì)重復(fù)多次，以便從多個(gè)角度進(jìn)行理解！??

???????? 2.2: ???????????? ????????????????????????????

通過將查詢（Query）和鍵（Key）向量相乘，給每對(duì)單詞分配一個(gè)得分。

這為序列中的每個(gè)詞分配了一個(gè)相對(duì)的重要性得分，類似于根據(jù)詞與詞之間的相關(guān)性對(duì)它們進(jìn)行排序！

???????? 2.3: ?????????????? ?????? ?????????????????? ????????????

這些得分會(huì)通過除以查詢（Query）和鍵（Key）向量維度的平方根進(jìn)行縮放，以確保梯度的穩(wěn)定性。

這樣可以防止較大的值對(duì)結(jié)果產(chǎn)生偏差。??

???????? 2.4: ???????????????? ??????????????

應(yīng)用 softmax 函數(shù)以獲得注意力權(quán)重，強(qiáng)調(diào)重要的單詞，同時(shí)減弱不太相關(guān)的單詞。

這有助于集中注意力于輸入的關(guān)鍵部分！??

???????? 2.5: ?????????????????? ?????????????? ??????????????

注意力權(quán)重與值（Value）向量相乘，生成的輸出是值的加權(quán)和。

這樣就將上下文信息整合到了輸出表示中！??

???????? 2.6: ?????????????????????????? ?????? ??????????????????

編碼器中的每個(gè)子層之后都會(huì)有一個(gè)歸一化步驟和殘差連接。

這樣可以幫助緩解梯度消失問題，并確保模型在計(jì)算過程中保持平衡，為下一步做好準(zhǔn)備！??

???????? 2.7: ????????-?????????????? ???????????? ??????????????

歸一化之后，前饋網(wǎng)絡(luò)會(huì)處理輸出，對(duì)上下文進(jìn)行進(jìn)一步的精細(xì)化調(diào)整。

這是在將信息發(fā)送到下一層之前的最后一步！??

???????? 3: ????????????

編碼器的最終輸出是一組向量，每個(gè)向量都捕捉了輸入序列的豐富上下文理解。

這些輸出已準(zhǔn)備好被解碼，并用于各種 NLP 任務(wù)！??

本文轉(zhuǎn)載自公眾號(hào)人工智能大講堂 

原文鏈接：??https://mp.weixin.qq.com/s/2-lpJ1jsL0-7vpmPgbY8HQ???