[[407838]]

 Hinton剛剛在Twitter上開了一個小討論: 人們反對在設計神經(jīng)網(wǎng)絡時從大腦獲取靈感，就像在設計飛行器時從羽毛中獲取靈感一樣。

△ 「通常，在設計神經(jīng)網(wǎng)絡時，很多人反對從大腦汲取靈感，這就像從羽毛構造中汲取靈感設計飛行器一樣。無人機需要的槳葉是不會對撞到的東西造成損壞，還可以通過快速的預處理輕松修復。」

所以，神經(jīng)網(wǎng)絡的設計到底能不能借鑒人類大腦構造？

「能」或「不能」，這是一個問題

前排網(wǎng)友激動討論：太對了。飛機的設計靈感就來自鳥。大自然向我們展示了如何飛行。AI也是一樣。神經(jīng)網(wǎng)絡仍處于不斷發(fā)展當中，無論何時，只要出現(xiàn)了任何難倒人類但已經(jīng)被大自然解決的問題，我們都沒有理由不去研究大自然的解法，除非我們瘋了。

也有網(wǎng)友表示：的確，人類不能像鳥類和昆蟲那樣以驚人的靈活性（滑行、加速、停止、高效率）「飛行」。對大腦來說，什么是 「飛行」？預測嗎？也許吧。神經(jīng)網(wǎng)絡不能像大腦那樣執(zhí)行許多任務。我認為這很有啟發(fā)性。

也有網(wǎng)友認為：對于分類問題，BP（反向傳播）可以被看作是帶有特征工程（Feature engineering）的LR（邏輯回歸）。

△ 為什么關心這個問題？事情是這樣的，在數(shù)學中也是如此，你使用一些工具來得到一個或一些想要的結果，如果你運氣好的話，過一段時間，你就會明白為什么這些工具真的幫助了你。對于分類問題，BP可以被看作是帶有特征工程（Feature engineering）的LR.

還有網(wǎng)友表示：自我保護和自我維持的設計還沒有納入機器的考慮范圍。

△ 大腦和鳥類出于生存的需要，進化出了自我修復的能力。無人機和它們撞到的東西被看作是人造的和可替換的。自我保護和自我維持的設計還沒有納入機器的考慮范圍。

甚至有網(wǎng)友質疑是否可以將大腦-神經(jīng)網(wǎng)絡與鳥類-羽毛進行對比：

△ 我們必須確定神經(jīng)網(wǎng)絡和大腦之間的關系是否可與羽毛和鳥類（或槳葉和無人機）之間的關系相提并論......不確定是否如此。

也有網(wǎng)友搬出了《大英百科全書》的解釋：

羽毛的進化早于鳥類，甚至早于鳥類飛行。因此，早期的羽毛具有保溫功能，（......），但不具有空氣動力學和飛行功能。(......)羽毛不再被認為是鳥類的獨特和診斷性特征。

對大腦來說反向傳播是不可能的

在反向傳播算法出現(xiàn)的好幾十年，關于大腦如何學習的理論主要受「赫布理論」（1949）影響，通常被解釋為「共同激發(fā)的神經(jīng)元之間存在連接」，即相鄰神經(jīng)元的活動越相關，它們之間的突觸聯(lián)系就越強。

這一理論經(jīng)過一些修改后，成功解釋了某些類型的學習和分類任務。

雖然赫布理論在使用錯誤信息時，是一種的非常狹窄、特殊且不敏感的方法，但對神經(jīng)學家來說，它仍然是最好的學習規(guī)則，20世紀50年代后期，它甚至激發(fā)了第一個人工神經(jīng)網(wǎng)絡的發(fā)展。

這些網(wǎng)絡中的每個人工神經(jīng)元接收多個輸入并產生一個輸出，和真實的神經(jīng)元一樣。人工神經(jīng)元用一個所謂的「突觸」權重(一個表示該輸入重要性的數(shù)字)，對輸入進行加權求和。

到了20世紀60年代，這些神經(jīng)元可以被組織成一個有輸入層和輸出層的網(wǎng)絡，「人工神經(jīng)網(wǎng)絡」可以被訓練來解決某些簡單的問題。

在訓練過程中，神經(jīng)網(wǎng)絡為其神經(jīng)元確定最佳權值，以降低誤差。

然而直到1986年以前，沒有人知道如何有效地訓練帶有「隱藏層」的人工神經(jīng)網(wǎng)絡，直到Hinton發(fā)表了「反向傳播算法」相關論文。

反向傳播的發(fā)明立即引起了一些神經(jīng)科學家的強烈抗議，他們認為這種方法不可能在真正的大腦中起作用。

首先，雖然計算機可以很容易地在兩個階段實現(xiàn)該算法，但是對于生物神經(jīng)網(wǎng)絡來說，這樣做并不簡單。

其次，是計算神經(jīng)科學家所說的權重傳遞問題: 反向傳播算法復制或「傳輸」關于推理所涉及的所有突觸權重的信息，并更新這些權重以獲得更高的準確性。

但是在生物網(wǎng)絡中，神經(jīng)元只能看到其他神經(jīng)元的輸出，而不能看到影響輸出的突觸權重或內部過程。

從神經(jīng)元的角度來看，「知道自己的突觸權重是可以的，你不能知道其他神經(jīng)元的突觸權重。」

任何生物學上似乎可行的學習規(guī)則也需要遵守神經(jīng)元只能從相鄰神經(jīng)元獲取信息的限制; 反向傳播可能需要從更遠的神經(jīng)元獲取信息。

因此，「如果你反向傳播信號，大腦似乎不可能計算。」

膠囊網(wǎng)絡

2017年，深度學習三巨頭之一的Geoffrey Hinton，發(fā)表了兩篇論文解釋「膠囊網(wǎng)絡（Capsule Networks）」。

在當時，這是一種全新的神經(jīng)網(wǎng)絡，它基于一種新的結構——膠囊，在圖像分類上取得了更優(yōu)越的性能，解決了CNN的某些缺陷，例如無法理解圖片和語義關系、沒有空間分層和空間推理的能力等。

在CNN中，左右兩幅圖都可被網(wǎng)絡識別為人臉

甚至，Hinton自己也公開表示過，他要證明為何卷積神經(jīng)網(wǎng)絡完全是「垃圾」，應該以自己的膠囊網(wǎng)絡代替。過去三年中，他每年都會推出一個新版本的膠囊網(wǎng)絡。

今年2月，Hinton發(fā)表了一篇新論文：如何在神經(jīng)網(wǎng)絡中表示部分-整體層次結構？（How to represent part-whole hierarchies in a neural network）

本論文中，他提出了一個叫做GLOM的架構，可以在神經(jīng)網(wǎng)絡中使用膠囊來表示視覺的層次結構，即部分-整體的關系。

GLOM通過提出island的概念來表示解析樹的節(jié)點。GLOM可以顯著提升transformer類的模型的可解釋性。可以顯著提升transformer類的模型的可解釋性。

作為深度學習的大大牛，Hinton提出了反向傳播（BP），隨后又一直在否定自己的工作，提出了「膠囊網(wǎng)絡」還有其他工作來增加生物學上的解釋，對于揭開大腦構造和神經(jīng)網(wǎng)絡之謎，他的思考從未停止。