01 偏差-方差權(quán)衡

這是一個總是在機(jī)器學(xué)習(xí)最重要理論中名列前茅的概念。機(jī)器學(xué)習(xí)中的幾乎所有算法（包括深度學(xué)習(xí)）都努力在偏差和方差之間取得適當(dāng)?shù)钠胶猓@個圖清楚地解釋了二者的對立關(guān)系。

02 基尼不純度與熵

Gini（缺乏同質(zhì)性的度量）和 Entropy（隨機(jī)性的度量）都是決策樹中節(jié)點(diǎn)不純度的度量。

對于這兩個概念更重要的是要了解它們之間的關(guān)系，以便能夠在給定的場景中選擇正確的指標(biāo)。

基尼不純度（系數(shù)）通常比熵更容易計算（因為熵涉及對數(shù)計算）。

03 精度與召回曲線

精度-召回曲線顯示了不同閾值的精度和召回率之間的權(quán)衡。曲線下面積大代表高召回率和高精度，其中高精度與低誤報率相關(guān)，高召回率與低誤報率相關(guān)。

它可以幫助我們根據(jù)需要選擇正確的閾值。例如，如果我們的目標(biāo)是減少類型 1 錯誤，我們需要選擇高精度，而如果我們的目標(biāo)是最小化類型 2 錯誤，那么我們應(yīng)該選擇一個閾值，使得召回率很高。

• 精度分母是一個變量：即假陽性（歸類為陽性的負(fù)樣本）每次都會變化。
• 召回分母是一個常數(shù)：它代表真值的總數(shù)，因此將始終保持不變。

這就是為什么下圖 Precision 在結(jié)束時有一個波動，而召回始終保持平穩(wěn)的原因。

04 ROC曲線

ROC 曲線是顯示分類模型在所有分類閾值下的性能的圖表。

這條曲線繪制了兩個參數(shù)：

真陽性率
誤報率

此曲線下的面積（稱為 AUC），也可用作性能指標(biāo)。AUC 越高，模型越好。

05 彎頭曲線

用于K-means算法中最優(yōu)簇數(shù)的選擇。WCSS（簇內(nèi)平方和）是給定簇中每個點(diǎn)與質(zhì)心之間的平方距離之和。當(dāng)我們用 K（簇數(shù)）值繪制 WCSS 時，該圖看起來像一個肘部（彎頭）。

隨著聚類數(shù)量的增加，WCSS 值將開始下降。K = 1時WCSS值最大

06三塊地塊

它幫助我們在對高維數(shù)據(jù)執(zhí)行主成分分析后，可視化每個主成分解釋的變異百分比。為了選擇正確數(shù)量的主成分來考慮我們的模型，我們通常會繪制此圖并選擇能夠為我們提供足夠好的總體方差百分比的值。

07線性和邏輯回歸曲線

對于線性可分?jǐn)?shù)據(jù)，我們可以進(jìn)行線性回歸或邏輯回歸，二者都可以作為決策邊界曲線/線。但是，在邏輯回歸的情況下，由于通常只有 2 個類別，因此具有線性直線決策邊界可能不起作用，在一條直線上值從低到高非常均勻地上升，因為它不夠陡峭在值突然上升后會得到很多臨界的高值或者低值，最終會錯誤分類。因此，"邊界"區(qū)域，即概率從高到低轉(zhuǎn)變的區(qū)域并不真正存在。所以一般情況下會應(yīng)用 sigmoid 變換將其轉(zhuǎn)換為 sigmoid 曲線，該曲線在極端情況下是平滑的，在中間幾乎是線性的。

08支持向量機(jī)（幾何理解）

09標(biāo)準(zhǔn)正態(tài)分布規(guī)則（z-分布）

均值為0，標(biāo)準(zhǔn)差為1的特殊正態(tài)分布。

經(jīng)驗法則指出，按照正態(tài)分布觀察到的數(shù)據(jù)中有 99.7% 位于平均值的 3 個標(biāo)準(zhǔn)差以內(nèi)。根據(jù)該規(guī)則，68% 的數(shù)據(jù)在一個標(biāo)準(zhǔn)差內(nèi)，95% 在兩個標(biāo)準(zhǔn)差內(nèi)，99.7% 在三個標(biāo)準(zhǔn)差內(nèi)。10學(xué)生T分布T 分布（也稱為學(xué)生 T 分布）是一系列分布，看起來幾乎與正態(tài)分布曲線相同，只是更短和更寬/更胖。當(dāng)我們有較小的樣本時，我們使用 T分布而不是正態(tài)分布。樣本量越大，t 分布越像正態(tài)分布。事實(shí)上，在 30 個樣本之后，T 分布幾乎與正態(tài)分布完全一樣。

總結(jié)

我們可能會遇到許多小而關(guān)鍵的概念，這些概念構(gòu)成了我們做出決定或選擇正確模型的基礎(chǔ)。本文中提到的重要概念都可以通過相關(guān)的圖表進(jìn)行表示，這些概念是非常重要的，需要我們在看到其第一眼時就知道他的含義，如果你已經(jīng)對上面的概念都掌握了，那么可以試試說明下圖代表了什么：