在學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)的過(guò)程中，會(huì)有多種不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)；如常見(jiàn)的RNN，CNN等；因此，我們很多人都會(huì)被這些亂七八糟的神經(jīng)網(wǎng)絡(luò)架構(gòu)給迷惑住，即想學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)又不知道應(yīng)該怎么入手；面對(duì)各種各樣的網(wǎng)絡(luò)模型，也不知道應(yīng)該去學(xué)習(xí)哪種。

但是，我們從問(wèn)題的最本質(zhì)出發(fā)，不同的神經(jīng)網(wǎng)絡(luò)唯一的區(qū)別就是網(wǎng)絡(luò)結(jié)構(gòu)的不同；之所以有多種神經(jīng)網(wǎng)絡(luò)模型的原因就在于不同的網(wǎng)絡(luò)架構(gòu)能夠完成不同的任務(wù)。

比如，RNN適合文本處理，機(jī)器翻譯；CNN適合圖像處理等。

神經(jīng)網(wǎng)絡(luò)架構(gòu)

在上一篇文章中——怎么實(shí)現(xiàn)一個(gè)神經(jīng)網(wǎng)絡(luò)？神經(jīng)網(wǎng)絡(luò)的組成結(jié)構(gòu)中，實(shí)現(xiàn)一個(gè)神經(jīng)網(wǎng)絡(luò)基本上需要經(jīng)過(guò)統(tǒng)一的幾個(gè)步驟；數(shù)據(jù)集，模型設(shè)計(jì)，模型訓(xùn)練等。

數(shù)據(jù)集根據(jù)不同的任務(wù)類(lèi)型，需要整理和設(shè)計(jì)不同的數(shù)據(jù)；而模型設(shè)計(jì)就涉及到不同的模型架構(gòu)，如圖片處理就可以使用CNN架構(gòu)；文字處理就可以使用RNN或Transformer架構(gòu)等；或者用戶(hù)根據(jù)自己的需求自定義神經(jīng)網(wǎng)絡(luò)架構(gòu)。

所以，從這個(gè)角度來(lái)看，一個(gè)可以使用的神經(jīng)網(wǎng)絡(luò)模型，從流程上來(lái)看幾乎都是相同的；區(qū)別只是神經(jīng)網(wǎng)絡(luò)架構(gòu)的異同，但具體的架構(gòu)是由具體的任務(wù)類(lèi)型所決定的；而不是由神經(jīng)網(wǎng)絡(luò)模型本身所決定的。

甚至在很多情況下，會(huì)把多種神經(jīng)網(wǎng)絡(luò)架構(gòu)結(jié)合起來(lái)使用。

因此，對(duì)我們這些學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)的人來(lái)說(shuō)；我們首先需要的并不是去學(xué)習(xí)哪些復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型，而是應(yīng)該從最簡(jiǎn)單的模型結(jié)構(gòu)開(kāi)始；比如說(shuō)神經(jīng)網(wǎng)絡(luò)技術(shù)中的Hello World——MINST手寫(xiě)數(shù)字識(shí)別。

為什么很多神經(jīng)網(wǎng)絡(luò)的課程中都會(huì)把MINST手寫(xiě)數(shù)字識(shí)別作為第一個(gè)神經(jīng)網(wǎng)絡(luò)教程？以及MINST神經(jīng)網(wǎng)絡(luò)模型能成為一個(gè)經(jīng)典模型？

原因就在于MINST神經(jīng)網(wǎng)絡(luò)模型——麻雀雖小，但五臟俱全。

在文章的開(kāi)始，就介紹說(shuō)不同神經(jīng)網(wǎng)絡(luò)模型的主要區(qū)別就在于模型結(jié)構(gòu)的不同；而MINST神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)特別簡(jiǎn)單；加上輸入輸出層也僅僅只是一個(gè)三層模型。

MINST手寫(xiě)數(shù)字識(shí)別模型，由一個(gè)輸入層，以及兩個(gè)全鏈接層組成(第二個(gè)全鏈接層也就是輸出層)；因此其模型結(jié)構(gòu)特別簡(jiǎn)單，模型結(jié)構(gòu)代碼如下，由P yTorch實(shí)現(xiàn)：

# 定義神經(jīng)網(wǎng)絡(luò)
class MINSTNetwork(nn.Module):    
  def __init__(self):        
    super(Network, self).__init__()        
    # 線(xiàn)性層1 輸入層和隱藏層之間的線(xiàn)性層        
    self.layer1 = nn.Linear(784, 256)        
    self.layer2 = nn.Linear(256, 10) 
       
    # 前向傳播 forward 函數(shù)中 輸入圖像為x    
    def forward(self, x):        
      x = x.view(-1, 28 * 28)  # 使用view函數(shù) 將x展平作為輸入層        
      x = self.layer1(x)  # 將x輸入至layer1        
      x = torch.relu(x)  # 使用relu激活        
      return self.layer2(x)  # 輸入至layer2計(jì)算結(jié)果

以上代碼即為MINST神經(jīng)網(wǎng)絡(luò)模型的模型結(jié)構(gòu)；layer1和layer2即為兩個(gè)全鏈接層；784是手寫(xiě)數(shù)字識(shí)別的圖片——1*28*28，也就是784個(gè)神經(jīng)元作為輸入層；而中間的256就屬于用戶(hù)自定義神經(jīng)元的個(gè)數(shù)。

MINST手寫(xiě)數(shù)字識(shí)別神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖如下所示，只不過(guò)代碼中的中間層神經(jīng)網(wǎng)絡(luò)個(gè)數(shù)為256。

我想很多對(duì)神經(jīng)網(wǎng)絡(luò)感興趣或者在學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的技術(shù)人員，都看過(guò)和實(shí)現(xiàn)過(guò)以上圖片和代碼；但網(wǎng)絡(luò)上很多教程都只是介紹，這樣就可以實(shí)現(xiàn)一個(gè)手寫(xiě)數(shù)字識(shí)別的神經(jīng)網(wǎng)絡(luò)模型；但從來(lái)卻沒(méi)有講過(guò)這到底是為什么。

而由此這里也帶來(lái)了一個(gè)問(wèn)題，即為什么一個(gè)神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)兩個(gè)全鏈接層，以及在兩個(gè)全鏈接層經(jīng)過(guò)一次激活函數(shù)之后，就可以實(shí)現(xiàn)手寫(xiě)數(shù)字的分類(lèi)？

下圖是詢(xún)問(wèn)DeepSeek得到的回答：

訓(xùn)練過(guò)程：

• 輸入數(shù)據(jù)：28x28 的圖像展平為 784 維向量。
• 第一次全連接層：將 784 維向量映射到 128 維隱藏層。
• 激活函數(shù)：使用 ReLU 引入非線(xiàn)性。
• 第二次全連接層：將 128 維隱藏層映射到 10 維輸出層。
• 輸出：通過(guò) Softmax 函數(shù)得到 10 個(gè)類(lèi)別的概率分布。

從DP的回答來(lái)看，它也沒(méi)完全說(shuō)明白為什么兩次全鏈接就可以完成手寫(xiě)數(shù)字識(shí)別；雖然它說(shuō)了兩個(gè)全鏈接層就可以學(xué)習(xí)到輸入數(shù)據(jù)的非線(xiàn)性特征；但具體原因是什么？ 

而這也是目前學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型最疑惑的地方？ 

為什么經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)的變換之后，神經(jīng)網(wǎng)絡(luò)就可以學(xué)習(xí)到數(shù)據(jù)的特征；并以此生成新的內(nèi)容；當(dāng)然也可能是作者的數(shù)學(xué)功底不好，沒(méi)有真正去深入研究過(guò)神經(jīng)網(wǎng)絡(luò)模型的底層數(shù)學(xué)原理。

目前來(lái)看，在學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的過(guò)程中，從零開(kāi)始大模型開(kāi)發(fā)與微調(diào)算是一本比較專(zhuān)業(yè)，也比較好的書(shū)；作者在剛開(kāi)始學(xué)習(xí)的過(guò)程中，發(fā)現(xiàn)看不太懂這本書(shū)，但現(xiàn)在有了一定的基礎(chǔ)之后，再看這本書(shū)發(fā)現(xiàn)寫(xiě)的是真有水平。從簡(jiǎn)到難，從理論到實(shí)踐都包含在內(nèi)。而現(xiàn)在這本書(shū)也是作者經(jīng)常看的一本書(shū)，雖然有些東西還是看不懂，但過(guò)段時(shí)間再看發(fā)現(xiàn)就能看懂了。