[[354709]]

大家好，今天來繼續聊聊深度學習。

有同學跟我說很久沒有更新深度學習的模型了，倒不是不愿意更新，主要是一次想把一個技術專題寫完。但是純技術文章觀眾老爺們不太愛看，所以我一般都把純技術文章放在次條。不過既然有同學催更，那么我還是響應一下需求，來更新一篇。

神經網絡與感知機的不同

我們當時在文章里放了一張圖，這張圖是一個多層感知機的圖，大家看一下，就是下面這張圖。

這張圖乍一看沒什么問題，但是細想會覺得有點奇怪，好像我們印象里看到的神經網絡的圖片也是這樣的，既然如此，那么它們之間有什么區別呢?

表面上最明顯的區別就是名字不同，這是一張神經網絡的圖片。我們發現同樣是三層，但是它每一層的名字分別是輸入層、中間層(隱藏層)和輸出層。我們一般把輸入層和輸出層單獨命名，中間的若干層都叫做隱藏層或者是中間層。當然像是感知機一樣，以數字來命名層數也是可以的，比如下圖當中的輸入層叫做第0層，中間層叫做第一層，最后輸出層叫做第2層。

我們一般不把輸出層看作是有效的神經網絡，所以下圖的網絡被稱為二層神經網絡，而不是三層神經網絡。

除了名字的叫法不同之外，還有一個最關鍵的區別就是激活函數，為了說明白這點，我們先來看看神經網絡當中的信號傳遞。

信號傳遞

下圖是一張我隨便找來的神經網絡圖，我們可以看到輸入的第一個節點被置為了1。這樣做是為了方便引入偏移量，只是我們一般情況下畫圖的時候，不會特意把偏移量畫出來。我們以下圖為例子來看下神經網絡當中信號的傳遞方式。

到這里還沒有結束，神經網絡當中每一層都會有對應的激活函數。一般情況下同一層網絡當中的激活函數相同，我們把它叫做h，所以最終這個節點的輸出并不是剛剛得到的，而是。

激活函數我們已經比較熟悉了，之前介紹過很多次，常用的大概有以下幾種：Relu、Sigmoid、tanh、softmax，以及一些衍生出的變種。一般情況下，在輸出層之前我們通常使用Relu，如果模型是一個分類模型，我們會在最后使用Sigmoid或者是softmax，如果是回歸模型則不使用任何激活函數。

Sigmoid我們已經很熟悉了，如果我們把LR模型也看成是一個單層的神經網絡的話，那么Sigmoid就是它的激活函數。Sigmoid應用在二分類場景當中單個的輸出節點上，輸出的值如果大于0.5表示為真，否則為假。在一些概率預估場景當中，也可以認為輸出值就代表了事件發生的概率。

與之對應的是softmax函數，它應用在多分類問題當中，它應用的節點數量不是1個，而是k個。這里的k表示多分類場景當中的類別數量。我們以k=3舉例，看下圖：

在圖中一共有三個節點，對于每一個節點來說，它的公式可以寫成：

其實和Sigmoid的計算方式是一樣的，只不過最后計算了一個權重。最后我們會在這k個節點當中選擇最大的作為最終的分類結果。

代碼實現

最后，我們來試著寫一下神經網絡的代碼，由于現在我們還沒有介紹神經網絡的訓練方法，所以我們只能實現它預測的部分。等我們介紹完了反向傳播算法之后，再來補上模型訓練的過程。

如果不考慮反向傳播的話，其實整個算法的代碼非常簡單，只要熟悉Python語法的同學都能看懂。

import numpy as np 
 
def relu(x): 
    return np.where(x > 0, x, 0) 
 
 
def sigmoid(x): 
    return 1 / (1 + np.exp(-x)) 
 
 
class NeuralNetwork(): 
    def __init__(self): 
        self.params = {} 
        self.params['W1'] = np.random.rand(2, 3) 
        self.params['b1'] = np.random.rand(1, 3) 
        self.params['W2'] = np.random.rand(3, 2) 
        self.params['b2'] = np.random.rand(1, 2) 
        self.params['W3'] = np.random.rand(2, 1) 
        self.params['b3'] = np.random.rand(1, 1) 
        
    def forward(self, x): 
        a1 = np.dot(x, self.params['W1']) + self.params['b1'] 
        z1 = relu(a1) 
         
        a2 = np.dot(z1, self.params['W2']) + self.params['b2'] 
        z2 = relu(a2) 
         
        a3 = np.dot(z2, self.params['W3']) + self.params['b3'] 
        return np.where(sigmoid(a3) > 0.5, 1, 0) 
     
     
if __name__ == "__main__": 
    nn = NeuralNetwork() 
    print(nn.forward(np.array([3, 2]))) 

本文轉載自微信公眾號「TechFlow」，可以通過以下二維碼關注。轉載本文請聯系TechFlow公眾號。