之前老喜歡死記硬背transformer的網絡架構，雖然內容并不復雜，但是發現這個transformer模塊中的positional encoding在死記硬背的情況之下很容易被忽略。為了更好地理解為什么transformer一定需要有一個positional encoding，簡單推了一下公式

先說結論：沒有Positional Encoding的transformer架構具有置換等變性。

證明如下：

1. 對self-attn的公式推導

其中的是可訓練的權重矩陣。首先計算Query和Key之間的點積，得到注意力權重矩陣：

然后計算自注意力輸出：

2. 假設對輸入進行置換

置換后的Query, Key, Value的公式分別為：

注意力矩陣的計算則變化為：

由于P是置換矩陣，滿足=，且P=I，所以：

所以最終的輸出可以這樣寫：

這樣就可以證明，transformer架構在沒有Positional Encoding計算的情況下具有置換等變性，換句話說，輸入序列中元素的排列方式不會影響模型對它們的處理方式，只是輸出的順序相應地改變。

3. 添加Positional Encoding之后的影響

加入Positional Encoding之后，置換后的輸入為：

由于P是固定的，加入Positional Encoding之后，輸入序列的置換將導致模型的輸出發生變化，模型能夠區分不用的序列：

從公式上看，在沒有位置編碼的情況下，自注意力機制的計算只涉及輸入向量的內容，不涉及任何位置信息，且對輸入序列的置換是等變的。

加入位置編碼后，輸入向量包含了位置信息，打破了自注意力機制的置換等變性，使模型能夠對序列中的元素位置敏感。