簡單來說，如果你沒有足夠的機器資源和時間，那么就跑到你預(yù)期的epoch，只需要保證驗證集預(yù)期的準(zhǔn)確率或其他指標(biāo)滿足要求即可。

局部極小值和鞍點

如果你想追求極致的loss下降，那么你需要了解兩個知識點——局部極小值和鞍點。

一般我們的loss降不了，是因為該位置的參數(shù)對損失的微分為零，導(dǎo)致梯度下降不再更新參數(shù)了，那么此時loss也就不會繼續(xù)下降。

那么提到梯度為零的時候，我們一般想象到的是局部極小值。其實也沒錯，因為出現(xiàn)局部極小值，那么梯度=0。但有些情況，是有可能既不是局部極大值 or 局部極小值，但梯度還是=0，這個情況我們成為鞍點（因為落點的形狀像馬鞍，稱鞍點）。

那鞍點的情況是梯度雖然為零，但還不是極小值的情況，那證明還有下降空間，只要我們逃離鞍點，就可以繼續(xù)讓loss下降。

確定是鞍點還是局部極小值

參考資料: 李宏毅-《機器學(xué)習(xí)》(??https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php??)

本文轉(zhuǎn)載自??沐白AI筆記??，作者：楊沐白