MLA是MHA的變體，因此先來看看MHA。

MHA（多頭注意力）

MHA通過將輸入向量分割成多個并行的注意力“頭”，每個頭獨立地計算注意力權(quán)重并產(chǎn)生輸出，然后將這些輸出通過拼接和線性變換進行合并以生成最終的注意力表示。

Transformer 編碼器塊內(nèi)的縮放點積注意力機制和多頭注意力機制

MHA計算過程

MHA 能夠理解輸入不同部分之間的關(guān)系。然而，這種復(fù)雜性是有代價的——對內(nèi)存帶寬的需求很大，尤其是在解碼器推理期間。主要問題的關(guān)鍵在于內(nèi)存開銷。在自回歸模型中，每個解碼步驟都需要加載解碼器權(quán)重以及所有注意鍵和值。這個過程不僅計算量大，而且內(nèi)存帶寬也大。隨著模型規(guī)模的擴大，這種開銷也會增加，使得擴展變得越來越艱巨。

MLA（多頭潛在注意力）

概念：

• 多頭注意力機制：Transformer 的核心模塊，能夠通過多個注意力頭并行捕捉輸入序列中的多樣化特征。
• 潛在表示學(xué)習(xí)：通過將高維輸入映射到低維潛在空間，可以提取更抽象的語義特征，同時有效減少計算復(fù)雜度。

問題：

MLA 的提出：MLA 將多頭注意力機制 與 潛在表示學(xué)習(xí) 相結(jié)合，解決MHA在高計算成本和KV緩存方面的局限性。

MLA的具體做法（創(chuàng)新點）： 采用低秩聯(lián)合壓縮鍵值技術(shù)，優(yōu)化了鍵值（KV）矩陣，顯著減少了內(nèi)存消耗并提高了推理效率。

如上圖，在MHA、GQA中大量存在于keys values中的KV緩存——帶陰影表示，到了MLA中時，只有一小部分的被壓縮Compressed的Latent KV了。

并且，在推理階段，MHA需要緩存獨立的鍵（Key）和值（Value）矩陣，這會增加內(nèi)存和計算開銷。而MLA通過低秩矩陣分解技術(shù)，顯著減小了存儲的KV（Key-Value）的維度，從而降低了內(nèi)存占用。

MLA的核心步驟：