機(jī)器學(xué)習(xí)是現(xiàn)代人工智能的核心，支撐著從推薦系統(tǒng)到自動(dòng)駕駛汽車等各類應(yīng)用。但每一個(gè)智能應(yīng)用背后，都離不開那些奠定基礎(chǔ)的模型。本文將為你簡(jiǎn)明而全面地梳理關(guān)鍵的機(jī)器學(xué)習(xí)模型，幫助你系統(tǒng)掌握核心概念與應(yīng)用。

線性回歸（Linear Regression）

線性回歸旨在通過尋找一條“最佳擬合直線”，來建立自變量與因變量之間的關(guān)系。它使用最小二乘法（least square method），使所有數(shù)據(jù)點(diǎn)到直線的距離之和最小化。最小二乘法通過最小化殘差平方和（SSR，Sum of Squared Residuals），來確定最終的線性方程。

例如，下圖中的綠色直線相比藍(lán)色直線擬合得更好，因?yàn)樗c所有數(shù)據(jù)點(diǎn)的距離更小。

圖片

Lasso 回歸（L1 正則化）

Lasso 回歸是一種正則化技術(shù)，通過在模型中引入一定的偏差來減少過擬合。它的做法是在最小化殘差平方差的基礎(chǔ)上，增加一個(gè)懲罰項(xiàng)，這個(gè)懲罰項(xiàng)等于 λ（lambda）乘以斜率的絕對(duì)值。這里的 λ 表示懲罰的強(qiáng)度，是一個(gè)可以調(diào)整的超參數(shù)，用來控制過擬合并獲得更好的擬合效果。

Lasso 回歸的代價(jià)函數(shù)

當(dāng)特征數(shù)量較多時(shí)，L1 正則化通常是更優(yōu)的選擇，因?yàn)樗梢院雎缘裟切┬甭手捣浅Ｐ〉淖兞浚瑥亩鴮?shí)現(xiàn)特征選擇。

展示正則化對(duì)過擬合回歸線影響的圖表

Ridge 回歸（L2 正則化）

Ridge 回歸與 Lasso 回歸非常相似，唯一的區(qū)別在于懲罰項(xiàng)的計(jì)算方式。它在損失函數(shù)中增加了一個(gè)懲罰項(xiàng)，這個(gè)懲罰項(xiàng)等于各系數(shù)幅值的平方乘以 λ（lambda）。

Ridge 回歸的代價(jià)函數(shù)

當(dāng)數(shù)據(jù)中存在多重共線性（即自變量之間高度相關(guān)）時(shí)，L2 正則化是更好的選擇，因?yàn)樗梢詫⑺邢禂?shù)收縮（Shrinkage）向零，從而緩解共線性問題。

Elastic Net 回歸

Elastic Net 回歸結(jié)合了 Lasso 回歸和 Ridge 回歸的懲罰項(xiàng)，從而得到一個(gè)更加正則化的模型。它可以在兩種懲罰之間取得平衡，通常比單獨(dú)使用 L1 或 L2 正則化獲得更優(yōu)的模型性能。

圖片

多項(xiàng)式回歸（Polynomial Regression）

多項(xiàng)式回歸將因變量與自變量之間的關(guān)系建模為一個(gè) n 次多項(xiàng)式。多項(xiàng)式是由形如 k·x? 的各項(xiàng)之和組成的，其中 n 是非負(fù)整數(shù)，k 是常數(shù)，x 是自變量。多項(xiàng)式回歸主要用于處理非線性數(shù)據(jù)。

在非線性數(shù)據(jù)上擬合簡(jiǎn)單線性回歸線與多項(xiàng)式回歸線的對(duì)比

邏輯回歸（Logistic Regression）

邏輯回歸是一種分類技術(shù)，旨在為數(shù)據(jù)找到最佳擬合曲線。它使用Sigmoid 函數(shù)將輸出值壓縮到 0 到 1 的范圍內(nèi)。不同于線性回歸通過最小二乘法尋找最佳擬合直線，邏輯回歸采用最大似然估計(jì)（MLE）來確定最佳擬合曲線。

線性回歸與邏輯回歸在二分類輸出上的對(duì)比

K 近鄰算法（K-Nearest Neighbours，KNN）

KNN 是一種分類算法，它根據(jù)新數(shù)據(jù)點(diǎn)與已分類數(shù)據(jù)點(diǎn)之間的距離進(jìn)行分類。它假設(shè)彼此接近的數(shù)據(jù)點(diǎn)具有高度相似性。

由于 KNN 在訓(xùn)練階段僅存儲(chǔ)數(shù)據(jù)而不進(jìn)行實(shí)際分類，直到遇到新的數(shù)據(jù)點(diǎn)進(jìn)行預(yù)測(cè)，因此被稱為懶惰學(xué)習(xí)算法（lazy learner）。

默認(rèn)情況下，KNN 使用歐幾里得距離來尋找新數(shù)據(jù)點(diǎn)最近的已分類數(shù)據(jù)點(diǎn)，并通過最近鄰居中出現(xiàn)次數(shù)最多的類別（眾數(shù)）來確定新數(shù)據(jù)點(diǎn)的預(yù)測(cè)類別。

如果 k 值設(shè)置得過小，新數(shù)據(jù)點(diǎn)可能被誤判為異常值；如果 k 值設(shè)置得過大，則可能忽略樣本數(shù)量較少的類別。

應(yīng)用 KNN 前后的數(shù)據(jù)分布變化

樸素貝葉斯（Naive Bayes）

樸素貝葉斯是一種基于貝葉斯定理的分類技術(shù)，主要用于文本分類。

貝葉斯定理描述了在已知與事件相關(guān)的條件的先驗(yàn)知識(shí)基礎(chǔ)上，計(jì)算事件發(fā)生的概率。它的公式如下所示：

貝葉斯定理公式

樸素貝葉斯被稱為“樸素”的原因是，它假設(shè)某一特征的出現(xiàn)與其他特征的出現(xiàn)是相互獨(dú)立的。

支持向量機(jī)（Support Vector Machines，SVM）

支持向量機(jī)的目標(biāo)是找到一個(gè)超平面，在 n 維空間（即特征的數(shù)量為 n）中將數(shù)據(jù)點(diǎn)分割成不同的類別。這個(gè)超平面是通過最大化類之間的邊距（即距離）來確定的。

支持向量是離超平面最近的數(shù)據(jù)點(diǎn)，它們能夠影響超平面的定位和方向，幫助最大化類之間的邊距。超平面的維度取決于輸入特征的數(shù)量。

支持向量機(jī)在線性可分?jǐn)?shù)據(jù)上的應(yīng)用

決策樹（Decision Tree）

決策樹是一種基于樹形結(jié)構(gòu)的分類器，包含一系列條件語(yǔ)句，這些條件語(yǔ)句決定了樣本沿著哪條路徑走，直到到達(dá)樹的底部。

決策樹示例

決策樹的內(nèi)部節(jié)點(diǎn)表示特征，分支表示決策規(guī)則，葉節(jié)點(diǎn)表示結(jié)果。樹的決策節(jié)點(diǎn)類似于 if-else 條件，葉節(jié)點(diǎn)包含決策節(jié)點(diǎn)的輸出。

決策樹的構(gòu)建從選擇一個(gè)特征作為根節(jié)點(diǎn)開始，使用特征選擇度量（如 ID3 或 CART），然后遞歸地將剩余的特征與父節(jié)點(diǎn)進(jìn)行比較，創(chuàng)建子節(jié)點(diǎn)，直到樹達(dá)到其葉節(jié)點(diǎn)。

隨機(jī)森林（Random Forest）

隨機(jī)森林是一種集成技術(shù)，由多個(gè)決策樹組成。在構(gòu)建每個(gè)獨(dú)立的決策樹時(shí)，隨機(jī)森林使用了自助法（bagging）和特征隨機(jī)化，目的是創(chuàng)建一個(gè)無關(guān)的決策樹森林。

隨機(jī)森林中的每棵樹都是在數(shù)據(jù)的不同子集上訓(xùn)練的，用于預(yù)測(cè)結(jié)果，然后選擇大多數(shù)樹投票的結(jié)果作為最終的預(yù)測(cè)值。

包含 4 個(gè)估計(jì)器的隨機(jī)森林分類器

例如，如果我們只創(chuàng)建了一棵決策樹，第二棵樹的預(yù)測(cè)結(jié)果為類 0，但依賴于四棵樹的眾數(shù)后，我們的預(yù)測(cè)結(jié)果變成了類 1，這就是隨機(jī)森林的強(qiáng)大之處。

極限隨機(jī)樹（Extra Trees）

極限隨機(jī)樹與隨機(jī)森林分類器非常相似，唯一的區(qū)別在于它們選擇根節(jié)點(diǎn)的方式。在隨機(jī)森林中，使用最優(yōu)特征進(jìn)行分割，而在極限隨機(jī)樹分類器中，隨機(jī)選擇特征進(jìn)行分割。極限隨機(jī)樹提供了更多的隨機(jī)性，并且特征之間的相關(guān)性非常小。

另外，兩者的另一個(gè)區(qū)別是，隨機(jī)森林使用自助法（bootstrap replicas）生成大小為 N 的子集來訓(xùn)練集成成員（決策樹），而極限隨機(jī)樹則使用整個(gè)原始樣本。

由于極限隨機(jī)樹在訓(xùn)練到預(yù)測(cè)的整個(gè)過程中，每棵決策樹的操作都是相同的，并且隨機(jī)選擇分割點(diǎn)，因此它的計(jì)算速度比隨機(jī)森林快得多。

隨機(jī)森林與極限隨機(jī)樹的比較

ADA Boost

ADA Boost 是一種提升算法，它與隨機(jī)森林相似，但也有一些顯著的區(qū)別：

• 與構(gòu)建決策樹森林不同，ADA Boost 構(gòu)建的是決策樹樁的森林。（決策樹樁是只有一個(gè)節(jié)點(diǎn)和兩個(gè)葉子的決策樹）
• 每個(gè)決策樹樁在最終決策中被賦予不同的權(quán)重。
• 它會(huì)對(duì)被錯(cuò)誤分類的數(shù)據(jù)點(diǎn)賦予更高的權(quán)重，以便在構(gòu)建下一個(gè)模型時(shí)，這些數(shù)據(jù)點(diǎn)能得到更多的關(guān)注。
• 它有助于將多個(gè)“弱分類器”組合成一個(gè)強(qiáng)分類器。

提升集成學(xué)習(xí)算法的一般過程

梯度提升（Gradient Boosting）

梯度提升通過構(gòu)建多個(gè)決策樹，其中每棵樹都從前一棵樹的錯(cuò)誤中學(xué)習(xí)。它使用殘差誤差來提高預(yù)測(cè)性能。梯度提升的整個(gè)目標(biāo)是盡可能減少殘差誤差。

梯度提升與 ADA Boost 相似，兩者的區(qū)別在于，ADA Boost 構(gòu)建決策樹樁，而梯度提升則構(gòu)建具有多個(gè)葉子的決策樹。

梯度提升的過程從構(gòu)建一棵基本的決策樹開始，并做出初步預(yù)測(cè)，通常使用平均值作為初始預(yù)測(cè)。然后，通過使用初始特征和殘差誤差作為自變量，創(chuàng)建新的一棵決策樹。對(duì)于新決策樹的預(yù)測(cè)，是通過將模型的初始預(yù)測(cè)加上樣本的殘差誤差乘以學(xué)習(xí)率得到的，整個(gè)過程會(huì)不斷重復(fù)，直到我們達(dá)到最小誤差為止。

K-Means 聚類

KMeans 聚類是一種無監(jiān)督的機(jī)器學(xué)習(xí)算法，它將沒有標(biāo)簽的數(shù)據(jù)分成 K 個(gè)不同的簇，其中 K 是用戶定義的整數(shù)。

它是一個(gè)迭代算法，通過使用簇的質(zhì)心（centroid）將沒有標(biāo)簽的數(shù)據(jù)劃分為 K 個(gè)簇，使得具有相似屬性的數(shù)據(jù)點(diǎn)屬于同一簇。

1. 定義 K 并創(chuàng)建 K 個(gè)簇
2. 計(jì)算每個(gè)數(shù)據(jù)點(diǎn)與 K 個(gè)質(zhì)心的歐幾里得距離
3. 將最近的數(shù)據(jù)點(diǎn)分配給質(zhì)心，并創(chuàng)建一個(gè)簇
4. 通過計(jì)算均值重新計(jì)算質(zhì)心

使用不同 K 值的 K-Means 聚類對(duì)無標(biāo)簽數(shù)據(jù)進(jìn)行聚類

層次聚類（Hierarchical Clustering）

層次聚類是另一種基于聚類的算法，它以樹狀結(jié)構(gòu)的形式創(chuàng)建簇的層次，以劃分?jǐn)?shù)據(jù)。它自動(dòng)發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)系，并將它們劃分為 n 個(gè)不同的簇，其中 n 是數(shù)據(jù)的大小。

層次聚類有兩種主要方法：凝聚式（Agglomerative）和分裂式（Divisive）。

凝聚式和分裂式層次聚類在簇創(chuàng)建過程中的比較

在凝聚式聚類中，我們將每個(gè)數(shù)據(jù)點(diǎn)視為一個(gè)單獨(dú)的簇，然后將這些簇合并，直到只剩下一個(gè)簇（即完整的數(shù)據(jù)集）。而分裂式層次聚類則從整個(gè)數(shù)據(jù)集（視為一個(gè)單獨(dú)的簇）開始，然后將其劃分為不太相似的簇，直到每個(gè)數(shù)據(jù)點(diǎn)成為一個(gè)獨(dú)立的簇。

DBSCAN 聚類

DBSCAN（基于密度的空間聚類算法，帶噪聲）假設(shè)，如果一個(gè)數(shù)據(jù)點(diǎn)離一個(gè)簇的許多數(shù)據(jù)點(diǎn)比較近，而不是離某個(gè)單獨(dú)的點(diǎn)很近，那么該數(shù)據(jù)點(diǎn)屬于該簇。

圖片

（圖：來自 Wikipedia 的 DBSCAN 聚類示例，minPts = 4。點(diǎn) A 和其他紅點(diǎn)是核心點(diǎn)，因?yàn)檫@些點(diǎn)周圍的 ε 半徑內(nèi)包含至少 4 個(gè)點(diǎn)（包括點(diǎn) A 本身）。由于它們之間都可以相互到達(dá)，因此形成一個(gè)簇。點(diǎn) B 和點(diǎn) C 不是核心點(diǎn)，但可以通過其他核心點(diǎn)從 A 到達(dá)，因此它們也屬于這個(gè)簇。點(diǎn) N 是噪聲點(diǎn)，既不是核心點(diǎn)，也不能直接從其他點(diǎn)到達(dá)。）

epsilon 和 min_points 是兩個(gè)重要的參數(shù)，用于將數(shù)據(jù)劃分為小簇。epsilon 指定了一個(gè)點(diǎn)需要與另一個(gè)點(diǎn)多近才能認(rèn)為它是簇的一部分，而 min_points 則決定了形成一個(gè)簇所需的最小數(shù)據(jù)點(diǎn)數(shù)。

Apriori 算法

Apriori 算法是一種關(guān)聯(lián)規(guī)則挖掘算法，它通過分析數(shù)據(jù)項(xiàng)之間的依賴關(guān)系，將相關(guān)的數(shù)據(jù)項(xiàng)關(guān)聯(lián)在一起。

使用 Apriori 算法創(chuàng)建關(guān)聯(lián)規(guī)則的關(guān)鍵步驟包括：

1. 確定每個(gè)大小為 1 的項(xiàng)集的支持度，其中支持度是數(shù)據(jù)集中項(xiàng)出現(xiàn)的頻率。
2. 剪枝所有低于最小支持度閾值的項(xiàng)（由用戶決定）。
3. 創(chuàng)建大小為 n+1 的項(xiàng)集（n 是前一個(gè)項(xiàng)集的大小），并重復(fù)步驟 1 和 2，直到所有項(xiàng)集的支持度都超過閾值。
4. 使用置信度生成規(guī)則（即在已知 x 出現(xiàn)的情況下，x 和 y 一起出現(xiàn)的頻率）。

分層 K 折交叉驗(yàn)證 (Stratified K-fold Cross-Validation)

分層 K 折交叉驗(yàn)證是 K 折交叉驗(yàn)證的一個(gè)變體，它使用分層抽樣（而非隨機(jī)抽樣）來創(chuàng)建數(shù)據(jù)的子集。在分層抽樣中，數(shù)據(jù)被劃分為 K 個(gè)不重疊的組，每個(gè)組的分布與整個(gè)數(shù)據(jù)集的分布相似。每個(gè)子集都會(huì)包含每個(gè)類標(biāo)簽的相同數(shù)量的樣本，如下圖所示。

圖示：5 折分層交叉驗(yàn)證

分層抽樣的優(yōu)點(diǎn)在于確保每一折的數(shù)據(jù)中都能代表各類標(biāo)簽的分布，避免了類別不平衡問題，尤其是在處理類別不均衡的數(shù)據(jù)集時(shí)。通過這種方式，模型的訓(xùn)練和驗(yàn)證可以更好地反映數(shù)據(jù)的整體分布，從而提升模型的穩(wěn)定性和性能。

主成分分析 (PCA)

主成分分析（PCA）是一種線性降維技術(shù)，它將一組相關(guān)的特征轉(zhuǎn)換為較少的（k<p）不相關(guān)的特征，這些不相關(guān)的特征被稱為主成分。通過應(yīng)用PCA，我們會(huì)丟失一定量的信息，但它提供了許多好處，比如提高模型性能、減少硬件需求，并為數(shù)據(jù)可視化提供更好的理解機(jī)會(huì)。

PCA 降維的可視化示例

PCA 的核心思想是通過將數(shù)據(jù)投影到新的坐標(biāo)系中，選擇數(shù)據(jù)方差最大的方向作為主成分，從而在減少維度的同時(shí)保留盡可能多的數(shù)據(jù)信息。可視化時(shí)，PCA 可以幫助我們將高維數(shù)據(jù)映射到二維或三維空間，從而更容易理解和分析。

人工神經(jīng)網(wǎng)絡(luò)（ANN）

人工神經(jīng)網(wǎng)絡(luò)（ANN）靈感來源于人類大腦的結(jié)構(gòu)，由多層互聯(lián)的神經(jīng)元組成。它們由輸入層、隱藏層和輸出層構(gòu)成，每個(gè)神經(jīng)元對(duì)傳入的數(shù)據(jù)應(yīng)用權(quán)重和激活函數(shù)。由于能夠從數(shù)據(jù)中學(xué)習(xí)復(fù)雜的模式，人工神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于圖像識(shí)別、自然語(yǔ)言處理和預(yù)測(cè)分析等任務(wù)。

多層人工神經(jīng)網(wǎng)絡(luò)的示例

卷積神經(jīng)網(wǎng)絡(luò)（CNN）

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種專門為圖像和視頻處理設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)類型。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)不同，后者將每個(gè)像素作為獨(dú)立輸入，CNN使用卷積層掃描圖像，檢測(cè)邊緣、紋理和形狀等模式。這使得CNN在識(shí)別圖像中的物體時(shí)非常有效，即使物體在不同位置出現(xiàn)。CNN通過自動(dòng)學(xué)習(xí)在視覺數(shù)據(jù)中識(shí)別模式，推動(dòng)了面部識(shí)別、自動(dòng)駕駛汽車和醫(yī)學(xué)圖像分析等技術(shù)的發(fā)展。

典型的CNN模型架構(gòu)

Q學(xué)習(xí)(Q-Learning)

Q學(xué)習(xí)是一種強(qiáng)化學(xué)習(xí)算法，通過試驗(yàn)和錯(cuò)誤的方式幫助機(jī)器學(xué)習(xí)。它通常用于游戲AI、機(jī)器人技術(shù)和自學(xué)習(xí)交易機(jī)器人。其原理很簡(jiǎn)單：“代理”（如機(jī)器人或游戲角色）與環(huán)境互動(dòng)，嘗試不同的動(dòng)作，并根據(jù)其選擇獲得獎(jiǎng)勵(lì)或懲罰。隨著時(shí)間的推移，代理通過將所學(xué)的內(nèi)容存儲(chǔ)在一個(gè)稱為Q表的表格中，學(xué)習(xí)在不同情況下采取最佳行動(dòng)。這種技術(shù)廣泛應(yīng)用于需要自主做出決策的AI系統(tǒng)，例如自動(dòng)駕駛汽車在交通中導(dǎo)航，或者AI驅(qū)動(dòng)的游戲角色學(xué)習(xí)如何下棋。

Q學(xué)習(xí)算法示例

詞頻-逆文檔頻率 (TF-IDF)

TF-IDF 是一種文本分析算法，旨在幫助識(shí)別文檔中的重要詞匯。它通過計(jì)算一個(gè)詞出現(xiàn)的頻率（詞頻，TF）以及該詞在所有文檔中出現(xiàn)的稀有程度（逆文檔頻率，IDF）來工作。這樣可以避免像“the”和“is”這樣的常見詞被賦予過高的權(quán)重，同時(shí)突顯出更有意義的詞匯。TF-IDF 廣泛應(yīng)用于搜索引擎（如 Google、Bing）、關(guān)鍵詞提取和文檔排名，幫助系統(tǒng)理解哪些詞匯與特定主題最相關(guān)。

LDA(Latent Dirichlet Allocation)

LDA(Latent Dirichlet Allocation)是一種主題建模算法，用于在大量文本集合中發(fā)現(xiàn)隱藏的主題。它假設(shè)每篇文檔由不同的主題組成，而每個(gè)主題由一些經(jīng)常一起出現(xiàn)的單詞構(gòu)成。LDA 特別適用于新聞分類、學(xué)術(shù)論文分類和客戶評(píng)論分析，因?yàn)樗兄诮沂敬罅糠墙Y(jié)構(gòu)化文本中的潛在主題。如果你曾在研究工具中看到過自動(dòng)主題建議功能，那么很可能它正在使用 LDA 來將相似的文本分組在一起。

圖片

Word2Vec

Word2Vec 是一種自然語(yǔ)言處理（NLP）算法，通過將詞語(yǔ)轉(zhuǎn)換為數(shù)值向量，幫助計(jì)算機(jī)理解詞語(yǔ)的含義。與像 TF-IDF 這樣的舊方法只關(guān)注詞頻不同，Word2Vec 捕捉了詞語(yǔ)之間的語(yǔ)義關(guān)系。例如，它可以學(xué)會(huì)“king”和“queen”之間的關(guān)系，或者“Paris”與“France”之間的關(guān)系就像“Berlin”與“Germany”之間的關(guān)系一樣。這使得它在聊天機(jī)器人、情感分析和推薦系統(tǒng)中非常有用，因?yàn)槔斫庠~語(yǔ)的含義和上下文至關(guān)重要。許多現(xiàn)代語(yǔ)言模型，包括用于 Google 翻譯和語(yǔ)音助手的模型，都依賴 Word2Vec 作為更深層次語(yǔ)言理解的基礎(chǔ)。

圖片

以上是常用的簡(jiǎn)明而全面地梳理關(guān)鍵的機(jī)器學(xué)習(xí)模型，幫助你系統(tǒng)掌握核心概念與應(yīng)用。