看來人工智能的發(fā)展還任重道遠。

來自耶路撒冷希伯來大學(xué)的研究者對單個神經(jīng)元的計算復(fù)雜度進行了研究，他們通過訓(xùn)練人工深度神經(jīng)網(wǎng)絡(luò)來模擬生物神經(jīng)元的計算，得出深度神經(jīng)網(wǎng)絡(luò)需要 5 至 8 層互連神經(jīng)元才能表征（或達到）單個生物神經(jīng)元的復(fù)雜度。

人類糊狀的大腦似乎與計算機處理器中的固態(tài)硅芯片相去甚遠，但科學(xué)家將二者進行比較已經(jīng)有很多年的歷史。正如「人工智能之父」阿蘭 · 圖靈在 1952 年所說，「我們對大腦具有冷粥粘稠度這一事實不感興趣。」換句話說，介質(zhì)不重要，重要的是計算能力。

[[421556]]

當(dāng)前，最強大的 AI 系統(tǒng)采用機器學(xué)習(xí)的一個分支——深度學(xué)習(xí)，這些 AI 系統(tǒng)的算法通過處理互連節(jié)點隱藏層的大量數(shù)據(jù)來學(xué)習(xí)，這被稱為深度神經(jīng)網(wǎng)絡(luò)。顧名思義，深度神經(jīng)網(wǎng)絡(luò)受到了人類大腦中真實神經(jīng)網(wǎng)絡(luò)的啟發(fā)，它們的節(jié)點模擬真實神經(jīng)元。或者至少根據(jù) 1950 年代神經(jīng)科學(xué)家對神經(jīng)元的了解，當(dāng)時一個被稱作「感知器」的有影響力的神經(jīng)元模型已經(jīng)誕生了。

自那時起，我們對單個神經(jīng)元的計算復(fù)雜度的理解急劇增加，也清楚了生物神經(jīng)元要比人工神經(jīng)元更加復(fù)雜。但復(fù)雜多少呢？這個問題一直沒有明確的解答。

為了找出答案，耶路撒冷希伯來大學(xué)的計算神經(jīng)科學(xué)博士生 David Beniaguev、神經(jīng)科學(xué)教授 Idan Segev 和副教授 Michael London 訓(xùn)練了一個人工深度神經(jīng)網(wǎng)絡(luò)來模擬生物神經(jīng)元的計算。他們表示，一個深度神經(jīng)網(wǎng)絡(luò)需要 5 至 8 層互連神經(jīng)元才能表征（或達到）單個生物神經(jīng)元的復(fù)雜度。

作者們也沒有預(yù)料到會呈現(xiàn)出這種復(fù)雜度。一作 Beniaguev 表示：「我原以為生物神經(jīng)元會更簡單些，3 至 4 層人工神經(jīng)元就足以捕獲細胞內(nèi)執(zhí)行的計算。」

從左至右依次為耶路撒冷希伯來大學(xué)博士生 David Beniaguev、神經(jīng)科學(xué)教授 Idan Segev 和副教授 Michael London。

他們還發(fā)表了相關(guān)論文《Single Cortical Neurons as Deep Artificial Neural Networks》。

論文地址：https://www.sciencedirect.com/science/article/abs/pii/S0896627321005018

DeepMind 決策算法設(shè)計師 Timothy Lillicrap 認為，新的研究結(jié)果表明有必要重新思考將大腦神經(jīng)元與機器學(xué)習(xí)領(lǐng)域神經(jīng)元進行松散比較的舊傳統(tǒng)了。

5 至 8 層人工神經(jīng)元才能達到單個生物神經(jīng)元的復(fù)雜度

人工神經(jīng)元和生物神經(jīng)元之間最基本的比較是它們?nèi)绾翁幚韨魅氲男畔ⅰ＿@兩種神經(jīng)元都接收傳入信號，并根據(jù)輸入信息決定是否將信號發(fā)送給其他神經(jīng)元。雖然人工神經(jīng)元依賴簡單的計算做出決定，但數(shù)十年的研究表明，生物神經(jīng)元的這個過程要復(fù)雜得多。計算神經(jīng)科學(xué)家使用輸入 - 輸出函數(shù)來模擬生物神經(jīng)元樹突接收到的輸入與神經(jīng)元發(fā)出信號之間的關(guān)系。

研究者讓一個人工深度神經(jīng)網(wǎng)絡(luò)模仿輸入 - 輸出函數(shù)（生物神經(jīng)元樹突接收到的輸入與神經(jīng)元發(fā)出信號之間的關(guān)系），以確定其復(fù)雜性。他們首先對一種神經(jīng)元的輸入 - 輸出函數(shù)進行了大規(guī)模模擬，這種神經(jīng)元的頂部和底部有不同的樹突分支，稱為錐體神經(jīng)元，來自大鼠的皮層。然后，他們將模擬結(jié)果輸入到一個深度神經(jīng)網(wǎng)絡(luò)中，該神經(jīng)網(wǎng)絡(luò)每層最多有 256 個人工神經(jīng)元。

接著，他們不斷的增加層數(shù)，直到在模擬神經(jīng)元的輸入和輸出之間達到毫秒級別 99% 的準(zhǔn)確率。深度神經(jīng)網(wǎng)絡(luò)成功地預(yù)測了神經(jīng)元的輸入 - 輸出函數(shù)的行為，所使用的層數(shù)至少有 5 層，但不超過 8 層。在大多數(shù)網(wǎng)絡(luò)中，這相當(dāng)于 1000 個人工神經(jīng)元對應(yīng)一個生物神經(jīng)元。

如下圖 2 所示，具有 7 個隱藏層、每層包含 128 個特征圖的時間卷積網(wǎng)絡(luò)（TCN）忠實地捕獲了一個 L5PC （layer 5 pyramidal neuron）模型。

在下圖 3 中，研究者展示了沒有 N - 甲基天冬氨酸（NMDA）突觸的 L5PC 神經(jīng)元，它能夠被具有單個隱藏層（包含 128 個隱藏單元）的深度神經(jīng)網(wǎng)絡(luò)忠實地捕獲。其中 A 為 L5PC 模型示意圖、B 為類比的深度神經(jīng)網(wǎng)絡(luò)。

現(xiàn)在已經(jīng)了解了單個神經(jīng)元的計算復(fù)雜度，如下動圖所示，左邊的椎體神經(jīng)元依賴樹突狀的分支，這些分支會受到信號的影響。在神經(jīng)元決定是否發(fā)送 spike 信號之前，信號變化會導(dǎo)致局部電壓變化，表現(xiàn)為神經(jīng)元顏色的變化（紅色表示高電壓，藍色表示低電壓）。這一 spike 出現(xiàn)了 3 次，如右側(cè)單個分支的軌跡所示，顏色代表樹突從頂部（紅色）到底部（藍色）的位置。

來自貝勒醫(yī)學(xué)院的計算神經(jīng)科學(xué)家 Andreas Tolias 表示，這種結(jié)果建立了從生物神經(jīng)元到人工神經(jīng)元的橋梁。但研究者表示，這還不是一個直接的對應(yīng)關(guān)系（生物神經(jīng)元到人工神經(jīng)元）。

Michael London 認為「神經(jīng)網(wǎng)絡(luò)中的層數(shù)與網(wǎng)絡(luò)的復(fù)雜性之間的關(guān)系并不明顯，所以我們不能說網(wǎng)絡(luò)層數(shù)從四層增加到五層復(fù)雜度會增加多少。我們也不能說需要 1,000 個人工神經(jīng)元就意味著生物神經(jīng)元的復(fù)雜度恰好是生物神經(jīng)元的 1,000 倍。最終，即使在每一層中使用指數(shù)級的人工神經(jīng)元，最終也有可能形成只有一層的深層神經(jīng)網(wǎng)絡(luò)——但這可能需要更多的數(shù)據(jù)和時間來讓算法學(xué)習(xí)。」

研究者嘗試了很多架構(gòu)，幾乎都失敗了。他們還公開了代碼，以鼓勵其他研究人員找到更少層的解決方案。但是，找到一種能夠模仿神經(jīng)元且準(zhǔn)確率高達 99% 的深度神經(jīng)網(wǎng)絡(luò)是非常困難，研究者相信他們的結(jié)果為進一步的研究提供了有意義的比較。

Timothy Lillicrap 認為，這可能提供了一種新的方法，將圖像分類網(wǎng)絡(luò)（通常需要 50 層以上）與大腦聯(lián)系起來。如果每個生物神經(jīng)元都像一個五層人工神經(jīng)網(wǎng)絡(luò)，那么一個 50 層的圖像分類網(wǎng)絡(luò)可能相當(dāng)于一個生物網(wǎng)絡(luò)中的 10 個真實神經(jīng)元。

此外，該研究還希望他們的結(jié)果將改變 SOTA 人工智能深度網(wǎng)絡(luò)架構(gòu)。「我們呼吁替換深度網(wǎng)絡(luò)技術(shù)，使其工作方式更接近大腦，這一實現(xiàn)過程是將深度網(wǎng)絡(luò)中的每個簡單單元替換為代表神經(jīng)元單元，而這種神經(jīng)元單元本身就是有深度的，」Segev 表示。在這種替代方案中，AI 研究人員和工程師可以插入一個五層深度網(wǎng)絡(luò)作為「迷你網(wǎng)絡(luò)」，用來取代每一個人工神經(jīng)元。

各路專家學(xué)者如何看

但有些人懷疑這是否真的有利于 AI。「我認為這是一個懸而未決的問題，這種做法是否存在實際的計算優(yōu)勢，」來自冷泉港實驗室的神經(jīng)科學(xué)家 Anthony Zador 表示道。這項工作為測試奠定了基礎(chǔ)。

除了 AI 應(yīng)用之外，該研究還加深了人們對樹突狀樹和單個神經(jīng)元強大計算能力的共識。早在 2003 年，三名神經(jīng)科學(xué)家展示了錐體神經(jīng)元的樹突樹可以進行復(fù)雜的計算，通過將其建模為兩層人工神經(jīng)網(wǎng)絡(luò)。在這項新研究中，研究者探索了金字塔神經(jīng)元的哪些特征激發(fā)了 5 到 8 層深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜性。他們得出結(jié)論，這來自樹突樹，樹突表面接收化學(xué)信使的特定受體——這一發(fā)現(xiàn)與先前研究者在該領(lǐng)域的研究一致。

而一些人認為，這一結(jié)果意味著神經(jīng)科學(xué)家應(yīng)該把單個神經(jīng)元的研究放在更重要的位置。「這篇論文使得對樹突和單個神經(jīng)元的思考比以前更加重要」，賓夕法尼亞大學(xué)計算神經(jīng)科學(xué)家 Konrad Kording 說。另外還有一些人如 Lillicrap 和 Zador，它們認為關(guān)注回路中的神經(jīng)元對于了解大腦如何實際利用單個神經(jīng)元的計算復(fù)雜性同樣重要。

無論如何，人工神經(jīng)網(wǎng)絡(luò)的語言可能為理解神經(jīng)元和大腦的能力提供新的洞見。倫敦大學(xué)學(xué)院的計算神經(jīng)科學(xué)家 Grace Lindsay 表示：「從層數(shù)、深度和寬度這幾方面思考讓我們對計算復(fù)雜度有了更直觀的認識，不過這項研究仍然只是模型與模型之間的比較。」

遺憾的是，目前神經(jīng)科學(xué)家無法記錄真實神經(jīng)元的完整輸入 - 輸出功能，因此生物神經(jīng)元模型無法捕獲到的信息可能更多。也就是說，真實神經(jīng)元可能更加復(fù)雜。

Michael London 對此也表示：「我們并不確定 5 至 8 層是否就是最終數(shù)字。」