01、概述

在人工智能領(lǐng)域，尤其是自然語(yǔ)言處理（NLP）中，Transformer、BERT和SBERT已經(jīng)成為技術(shù)發(fā)展的基石。然而，很多人對(duì)它們的工作原理、優(yōu)缺點(diǎn)以及實(shí)際應(yīng)用還不夠了解。本篇文章將深入解析這些技術(shù)，從基礎(chǔ)概念到最新進(jìn)展，幫助你掌握背后的關(guān)鍵邏輯。

02、Transformers：NLP領(lǐng)域的“革命性武器”

1） 什么是Transformer？

Transformer模型誕生于2017年，最初是為了解決機(jī)器翻譯問(wèn)題。如今，它已經(jīng)成為幾乎所有大規(guī)模語(yǔ)言模型（LLM）的核心。

Transformer模型的架構(gòu)由兩個(gè)主要模塊組成：編碼器（Encoder）和解碼器（Decoder）。

• 編碼器：將輸入轉(zhuǎn)換為矩陣表示，用于捕捉上下文信息。
• 解碼器：基于編碼器輸出生成最終的結(jié)果，如翻譯句子或預(yù)測(cè)下一步文本。

經(jīng)典的Transformer模型每個(gè)模塊由6層堆疊而成，而這些層都依賴一個(gè)核心機(jī)制：多頭自注意力機(jī)制（Multi-Headed Self-Attention）。

2） Transformer的優(yōu)勢(shì)：捕捉全局上下文

與早期的RNN或LSTM不同，Transformer模型可以捕捉整個(gè)輸入序列的全局上下文，而不僅僅是單個(gè)詞的局部信息。這種特性讓它在處理長(zhǎng)文本時(shí)表現(xiàn)出色。

3） Transformer的局限性

盡管Transformer在許多任務(wù)中表現(xiàn)出色，但在某些場(chǎng)景下仍存在不足。例如：

• 僅考慮歷史信息：Transformer的注意力層通常只關(guān)注“過(guò)去的上下文”，對(duì)于某些需要前后雙向理解的任務(wù)（如問(wèn)答）表現(xiàn)會(huì)受限。

舉個(gè)例子：

“John帶著Milo參加了聚會(huì)。Milo在聚會(huì)上玩得很開(kāi)心。他是一只白色的貓?！?/p>

如果我們問(wèn)：“Milo是否和John在聚會(huì)上喝酒了？”

僅依賴前兩句，模型可能回答“玩得開(kāi)心可能意味著喝酒了”；但如果能結(jié)合第三句——“Milo是一只貓”，答案顯然是“不可能”。

這時(shí)，我們需要一個(gè)能夠同時(shí)理解前后文的模型，這便是BERT。

03、BERT：雙向編碼的“語(yǔ)義大師”

1） 什么是BERT？

BERT（Bidirectional Encoder Representations from Transformers）是基于Transformer編碼器開(kāi)發(fā)的模型，但與Transformer不同的是，BERT采用雙向自注意力機(jī)制，能夠同時(shí)理解句子前后文的信息。

BERT的設(shè)計(jì)使其特別適合處理像問(wèn)答、文本摘要等任務(wù)。它通過(guò)引入特殊的標(biāo)記（如[CLS]和[SEP]），讓模型能夠更好地區(qū)分問(wèn)題和答案，進(jìn)而進(jìn)行上下文推理。

2） BERT的訓(xùn)練方法

BERT的強(qiáng)大來(lái)源于兩種預(yù)訓(xùn)練任務(wù)：

• 掩碼語(yǔ)言模型（Masked Language Model, MLM）：隨機(jī)遮蓋輸入文本的15%的詞匯，模型需要預(yù)測(cè)被遮蓋的詞是什么。
• 下一句預(yù)測(cè)（Next Sentence Prediction, NSP）：判斷兩句輸入文本是否是相鄰句。

3） BERT的局限性

盡管BERT在語(yǔ)義理解上表現(xiàn)強(qiáng)大，但它在處理大規(guī)模相似性搜索任務(wù)時(shí)表現(xiàn)欠佳。例如，當(dāng)需要在10,000條句子中找到與某個(gè)句子最相似的一條時(shí)，BERT需要對(duì)每個(gè)句子對(duì)進(jìn)行兩兩比較，計(jì)算量巨大。這種二次復(fù)雜度使其難以在大規(guī)模語(yǔ)義搜索中應(yīng)用。

于是，SBERT應(yīng)運(yùn)而生。

04、SBERT：專注于語(yǔ)義相似度的革新模型

1） 什么是SBERT？

SBERT（Sentence-BERT）通過(guò)在BERT的基礎(chǔ)上引入Siamese網(wǎng)絡(luò)（孿生網(wǎng)絡(luò)），解決了大規(guī)模相似性搜索的計(jì)算瓶頸。

與BERT不同，SBERT不需要每次都對(duì)句子對(duì)進(jìn)行比較，而是先對(duì)每個(gè)句子生成獨(dú)立的固定長(zhǎng)度向量（如1×768維度），然后再通過(guò)簡(jiǎn)單的數(shù)學(xué)運(yùn)算（如余弦相似度）來(lái)比較句子間的相似性。

2） SBERT的架構(gòu)與特點(diǎn)

SBERT的架構(gòu)引入了池化層（Pooling Layer），將BERT的輸出從高維度（如512×768）簡(jiǎn)化為低維度（如1×768），大幅降低了計(jì)算復(fù)雜度。此外，它還支持三種訓(xùn)練方式：

• 自然語(yǔ)言推理（NLI）：基于分類任務(wù)（如“推斷”“中性”“矛盾”）進(jìn)行訓(xùn)練。
• 句子相似度（Sentence Similarity）：直接優(yōu)化余弦相似度，適合語(yǔ)義相似任務(wù)。
• 三元組損失（Triplet Loss）：通過(guò)比較錨點(diǎn)句、正樣本句和負(fù)樣本句的距離，優(yōu)化語(yǔ)義表示。

3） SBERT的實(shí)際應(yīng)用

SBERT已經(jīng)成為構(gòu)建檢索增強(qiáng)生成（RAG）流水線的核心工具。通過(guò)開(kāi)源庫(kù)sentence-transformers，你可以輕松生成句子嵌入，并進(jìn)行語(yǔ)義搜索。以下是簡(jiǎn)單的代碼示例：

# 安裝庫(kù)
!pip install sentence-transformers

# 加載模型
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('bert-base-nli-mean-tokens')

# 生成句子嵌入
sentences = [
    "今天的天氣真好。",
    "外面陽(yáng)光明媚！",
    "他開(kāi)車去了體育場(chǎng)。",
]
embeddings = model.encode(sentences)

# 計(jì)算相似度
similarities = model.similarity(embeddings, embeddings)
print(similarities)

05、總結(jié)：從Transformer到SBERT，探索NLP的未來(lái)

從Transformer的全局上下文捕捉，到BERT的雙向語(yǔ)義理解，再到SBERT的大規(guī)模相似性搜索優(yōu)化，這些模型展現(xiàn)了NLP領(lǐng)域的不斷突破。

本文轉(zhuǎn)載自公眾號(hào)Halo咯咯    作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/N1AsVsONulrwicwmWJf9eA??