前向傳播之-softmax

softmax：這個(gè)分類(lèi)器可以說(shuō)是咱們深度學(xué)習(xí)領(lǐng)域最常見(jiàn)的一個(gè)分類(lèi)器了，如果大家對(duì)邏輯回歸有基礎(chǔ)的話那么這個(gè)softmax分類(lèi)器可以當(dāng)成一個(gè)多分類(lèi)的邏輯回歸。

sigmoid:上圖就是咱們這個(gè)sigmoid函數(shù)了，這個(gè)函數(shù)很重要無(wú)論在softmax還是在咱們之后會(huì)講到的激活函數(shù)上，所以咱們先來(lái)看看這個(gè)函數(shù)是干什么用的，首先咱們先來(lái)看它的自變量X得到取值范圍，可以看到咱們的X可以取正無(wú)窮到負(fù)無(wú)窮的一切實(shí)數(shù)，那么對(duì)應(yīng)的Y也就是值域的范圍是從0到1的。那么對(duì)于一個(gè)任意的輸入X1我們都可以得到一個(gè)對(duì)應(yīng)的值Y1，這個(gè)Y1是在0到1之間的一個(gè)數(shù)，也就是我們可以把所有的值都?jí)嚎s到0到1這個(gè)區(qū)間內(nèi)，結(jié)合咱們之前的得分函數(shù)，一個(gè)輸入對(duì)于每一個(gè)類(lèi)別的得分X，我們都可以把這個(gè)得分映射到[0,1]區(qū)間內(nèi)，也就是把我們的得分?jǐn)?shù)值轉(zhuǎn)成了相應(yīng)的概率值。

softmax-loss計(jì)算：這一系列的公式其實(shí)就告訴了咱們一件事咱們這個(gè)分類(lèi)器最終的LOSS值是如何計(jì)算出來(lái)的，首先咱們對(duì)應(yīng)于一個(gè)輸入計(jì)算出了它屬于每一個(gè)類(lèi)別的得分?jǐn)?shù)值，然后再用上面講的sigmoid函數(shù)把所有的得分?jǐn)?shù)值映射成一個(gè)概率值，有了概率值之后loss的計(jì)算就是對(duì)最終正確分類(lèi)所占的概率求一個(gè)LOG值再取負(fù)號(hào)就OK了。

動(dòng)手算：咱們現(xiàn)在就來(lái)動(dòng)手算一下這個(gè)LOSS值是什么計(jì)算的，首先對(duì)每個(gè)得分?jǐn)?shù)值計(jì)算其指數(shù)次冪，然后對(duì)于得到的所有值再做一個(gè)歸一化的操作，***把正確分類(lèi)的那個(gè)概率值帶到LOSS計(jì)算公式中就性啦。

SVM和SOFTMA對(duì)比：從圖中可以到最明顯的區(qū)別就是LOSS值的計(jì)算方式，SVM是計(jì)算的分值的一個(gè)差值情況，SOFTMAX看的則是分類(lèi)的準(zhǔn)確率。這里就不詳細(xì)推導(dǎo)他們優(yōu)缺點(diǎn)了，可以告訴大家的是SOFTMAX對(duì)錯(cuò)誤的分類(lèi)敏感程度更高，其實(shí)SOFTMAX是一個(gè)永不滿(mǎn)足的分類(lèi)器，它的LOSS始終存在的，感興趣的同學(xué)可以自己算一算LOSS的流程就知道了，所以在深度學(xué)習(xí)領(lǐng)域我們使用的更多的是SOFTMAX分類(lèi)器。

【本文是51CTO專(zhuān)欄作者唐宇迪的原創(chuàng)稿件，轉(zhuǎn)載請(qǐng)注明出處】

戳這里，看該作者更多好文