我們常說機器學習三大件：模型、損失函數、優化算法。

模型：線性回歸、邏輯回歸、SVM、CNN、RNN、LSTM、Transformer等等。

損失函數：均方誤差、交叉熵、對比損失。

優化算法：梯度下降、Adam、RMSProp、牛頓法等等。

其中損失函數通過衡量模型預測值和真實值之間的距離來評估模型的好壞，并將結果反饋給優化算法來調整模型參數，以此來最小化損失函數。

常見的距離衡量包括：歐氏距離、曼哈頓距離、余弦相似度、KL散度等。

均方誤差基于歐式距離、交叉熵基于KL散度、對比損失基于余弦相似度。

歐式距離在ML中是比較常用的，但它有個特點，就是假設所有特征之間是相互獨立的，也就是它不會考慮特征之間相關性信息。

因此，如果特征是相關的，歐幾里得距離將產生誤導性的結果。例如，考慮下面的這個虛擬數據集：

很明顯，特征之間是相關的，這里，考慮其中三個數據點P1，P2，P3。

根據數據分布，P2更接近P1，因為P1，P2都在分布內，而P3在分布外。

然而，如果根據歐式距離計算公式可得P2，P3與P1之間的距離是相等的。

馬哈拉諾比斯距離（Mahalanobis distance）克服了這個缺點，它計算距離時考慮了數據分布信息。

前面的數據集，如果應用Mahalanobis distance，P2比P3距離P1更近。

它是如何工作的？

概括一下就是：它的目標是構建一個新的坐標系，新坐標系的各個軸之間是相互獨立的，也就是相互正交。

具體步驟如下：

● 步驟 1：將列轉換為不相關的變量。

● 步驟 2：對新變量進行縮放，使其方差等于 1。

● 步驟 3：在這個新的坐標系中找到歐幾里得距離。

其中步驟1是通過對數據的協方差矩陣進行變換，使得新的變量之間沒有線性相關性，類似于主成分分析（PCA）的思想，詳細過程見附錄。

雖然最終還是用到了歐式距離，但步驟1的變換已經使數據滿足了歐式距離的假設。

Mahalanobis distance最重要的應用就是異常檢測，例如，前面例子中的P3。

因為P1是分布的重心，如果歐式距離，P2，P3都不是異常值，用Mahalanobis distance結果就很明顯了。

這在高維空間，沒辦法數據可視化式尤為有用。

附錄：PCA主成分分析

假設我們有一個簡單的二維數據集，其中包含兩個特征X1 和X2，并且這兩個特征之間存在一定的線性相關性。

假設我們有以下樣本：

從這些數據中，我們可以看到X1和X2之間的數值是線性相關的，且大約滿足X2≈2×X1?1。

計算協方差矩陣并進行變換

1.計算均值

我們先計算每個特征的均值：

2.構建協方差矩陣

協方差矩陣衡量的是每對特征之間的線性相關性。假設我們得到以下協方差矩陣：

其中，矩陣中的每個元素代表對應的特征之間的協方差，非對角線元素表示X1和X2之間的相關性。

3.特征值分解

接下來我們對協方差矩陣進行特征值分解（Eigenvalue Decomposition），得到特征值和特征向量。假設我們得到以下特征向量和特征值：

4.轉換變量
使用特征向量，我們可以將原始數據X1,X2 轉換為新的變量Z1,Z2，這些新變量之間不再相關。轉換的方式是通過特征向量進行線性變換：

這里，V是特征向量矩陣。

在上面的例子中，X經過特征向量矩陣變換后維度沒有變化，而在實際應用中，通常選擇前k個特征值對應的特征向量，然后X投影到新的基上，這樣新的特征不僅正交，而且還起到了降維的作用。

本文轉載自公眾號人工智能大講堂 

原文鏈接：??https://mp.weixin.qq.com/s/1tH5Qws_mvwo49espx5zpw??