[[214638]]

去噪自編碼器（denoising autoencoder, DAE）是一類接受損壞數據作為輸入，并訓練來預測原始未被損壞數據作為輸出的自編碼器。

去噪自編碼器代價函數的計算圖。去噪自編碼器被訓練為從損壞的版本~x 重構干凈數據點x。這可以通過最小化損失L = -log pdecoder(x|h = f(~x)) 實現，其中~x 是樣本x 經過損壞過程C(~x| x) 后得到的損壞版本。

得分匹配是***似然的代替。它提供了概率分布的一致估計，促使模型在各個數據點x 上獲得與數據分布相同的得分（score）。

對一類采用高斯噪聲和均方誤差作為重構誤差的特定去噪自編碼器（具有sig-moid 隱藏單元和線性重構單元）的去噪訓練過程，與訓練一類特定的被稱為RBM 的無向概率模型是等價的。

將訓練樣本x 表示為位于低維流形（粗黑線）附近的紅叉。我們用灰色圓圈表示等概率的損壞過程C(~x|x)。灰色箭頭演示了如何將一個訓練樣本轉換為經過此損壞過程的樣本。

由去噪自編碼器圍繞1 維彎曲流形學習的向量場，其中數據集中在2 維空間中。每個箭頭與重構向量減去自編碼器的輸入向量后的向量成比例，并且根據隱式估計的概率分布指向較高的概率。向量場在估計的密度函數的***值處（在數據流形上）和密度函數的最小值處都為零。例如，螺旋臂形成局部***值彼此連接的1維流形。局部最小值出現在兩個臂間隙的中間附近。當重構誤差的范數（由箭頭的長度示出）很大時，在箭頭的方向上移動可以顯著增加概率，并且在低概率的地方大多也是如此。自編碼器將這些低概率點映射到較高的概率重構。在概率***的情況下，重構變得更準確，因此箭頭會收縮。

目前僅限于去噪自編碼器如何學習表示一個概率分布。更一般的，我們可能希望使用自編碼器作為生成模型，并從其分布中進行采樣。