神經科學會成為人工智能「超進化」的關鍵嗎？

　　在深度學習和深度神經網絡火遍天下的今天，離不開對大腦的研究。

 

　　雖然我們還未探究清楚大腦如何工作，但這樣的大腦結構確實可以產生「智能」。

　　只要模擬它，神經網絡就可以獲得相似或相同的智能。真正能夠學習人類的矩陣或許就在不遠處。

 

　　近日，神經科學家 Patrick Mineault 就 2021 年無監(jiān)督學習的大腦模型做了總結回顧。

 

　　神經人工智能（neuro-AI）研究中最有說服力的發(fā)現之一是，訓練人工神經網絡執(zhí)行匹配大腦中單個神經元和集合信號的相關任務。

　　一個典型的例子就是腹側流（ventral stream），DNNs 在 ImageNet 上訓練進行對象識別。

　　監(jiān)督和任務優(yōu)化網絡連接兩個重要的解釋形式: 生態(tài)相關性和神經活動可解釋性。

 

　　「What can 5.17 billion regression fits tell us about artificial models of the human visual system? 」這篇論文便回答了大腦區(qū)域是用來做什么這一問題。

　　然而，正如 Jess Thompson 指出的那樣，這不是唯一的解釋形式。

　　特別是，任務優(yōu)化網絡通常在生物學上被認為是不合理的，因為傳統的 ImageNet 訓練會使用 1M 圖像。

　　即便是為了讓嬰兒識別一項任務，他們必須每 5 秒接受一個新的監(jiān)督標簽，例如父母指著一只鴨子對孩子說「鴨子」，每天 3 小時，持續(xù)一年以上。

　　那對于非人類的靈長類動物和老鼠又是怎樣的一種情況？因此，尋找與人類大腦相匹配的生物學上相似的神經網絡研究仍在繼續(xù)。

 

　　Jess Thompson 的神經人工智能假說空間

自監(jiān)督訓練方法有哪些

　　今年，我們已經看到無監(jiān)督訓練方面取得很大進展，逐漸替代了自監(jiān)督訓練的一些方法。

　　自監(jiān)督訓練的一些方法如下:

 

　　·無監(jiān)督學習旨在表示數據分布。該領域最常用的技術之一是變分自編碼器 （VAE）。

　　·自監(jiān)督訓練旨在通過解決代理任務來找到良好的數據表示。如今，語言模型幾乎普遍使用自監(jiān)督訓練，比如 BERT 和 GPT-3。

　　·對比學習是自監(jiān)督學習的一種特殊形式，其代理任務是預測樣本是來自正面還是負面（或干擾項）。對比學習有很多不同的風格：MoCo、InfoNCE、SimCLR、CPC 等。也有一些密切相關的非對比方法可以消除負樣本，包括 BYOL 和 BarlowTwins。

　　·多模態(tài)學習是自監(jiān)督訓練的另一種特殊形式，其目的是通過預測兩種不同的模態(tài)（如視覺、文本、音頻等）的共同子空間，或者預測一個模態(tài)共同的子空間。CLIP 便是一個典型的例子。

　　所有這些方法都允許我們在不需要監(jiān)督情況下學習表示。其實，自監(jiān)督和無監(jiān)督方法相結合比只使用監(jiān)督方法在生物學上更合理。

　　就此，Mineault 回顧了今年 MAIN、NeurIPS、CCN 會議，以及其他預印本，并做出了一份關于無監(jiān)督學習的大腦模型總結。

　　Unsupervised neural network models of the ventral visual stream

　　這篇論文剛剛發(fā)表在 PNAS 頂刊上，引用量已超過 60。

 

　　論文地址：https://www.pnas.org/content/118/3/e2014196118

　　作者發(fā)現，無監(jiān)督和自監(jiān)督方法學習的表征與腹側流（V1，V4，IT）神經元實現方式一致。論文摘要指出:

　　靈長類動物顯示出非凡的識別能力。這種能力是通過腹側視覺流實現的，腹側流是多個等級相互關聯的大腦區(qū)域。這些領域最好的定量模型是經過人工標記訓練的深層神經網絡。

　　然而，這些模型需要比嬰兒接收到更多的標記，使他們無法實現腹側流發(fā)展模式。

　　最近，在無監(jiān)督學習取得的進展在很大程度上彌補了這一差距。我們發(fā)現，用最新的無監(jiān)督學習的神經網絡在腹側流中獲得的預測精度等于或超過當今最好的模型。

　　這些結果說明了使用無監(jiān)督學習來建立大腦系統的模型，并為感官學習計算理論提供了一個強有力的備選方案。

　　特別是，作者發(fā)現 SimCLR 和其他對比學習方法幾乎可以像監(jiān)督學習方法一樣解釋腹側神經元。

　　訓練模型時標簽不是必要的，這篇論文是一個非常強有力的證明。

　　Beyond category-supervision:

　　Computational support for domain-general pressures guiding human visual system representation

 

　　論文地址：https://www.biorxiv.org/content/10.1101/2020.06.15.153247v3

　　Konkle and Alvarez 在論文提出了一個與 Zhuang 等人論文類似的問題:

　　腹側信息流是否可以由一個不經過監(jiān)督式學習訓練的網絡來解釋？他們使用功能磁共振成像而不是單個神經元的記錄來評估這一點。他們發(fā)現結果與 Zhuang 的文章大體一致，并且有著自己獨特的實例——對比自我監(jiān)督，以及其他類似的解釋 fMRI 數據的結果。

　　Your head is there to move you around: Goal-driven models of the primate dorsal pathway

　　這篇論文便是由神經科學家 Patrick Mineault 撰寫，已在 2021NeurIPS 發(fā)表。

　　正如作者之前所討論的，腹側神經元對形狀是有選擇性的。然而，視覺皮層輸出的訊息會傳送到兩個渠道，一個是腹側流，另一個便是背側流，這是怎么回事？作者通過比較許多自監(jiān)督的 3D 網絡和不同的背側流區(qū)域，發(fā)現它們不能解釋非人靈長類動物單個神經元的反應。

 

　　論文地址：https://your-head-is-there-to-move-you-around.netlify.app/

　　因此， Mineault 草擬了一個代理任務，世界上有生命的生物必須根據落在它的視網膜上的圖像模式來確定它自身運動的參數。

　　由此產生的網絡看起來很像背側流，這在定性和定量上都是真實的。目前，該模型的訓練是有監(jiān)督的，但從智能體的角度來看，它是自監(jiān)督的多模態(tài)學習: 智能體從另一個模態(tài) （視覺） 中學習預測其自運動的參數 （前庭，傳出拷貝），這在生物學上可能是合理的。 

視覺皮層的功能

　　視覺皮層的功能特殊化于通過自我監(jiān)督的預測學習訓練有著異曲同工之妙。

 

　　項目主頁：https://ventral-dorsal-model.netlify.app/

　　Bakhtiari 等人 2021 年的兩篇論文都獲得了 NeurIPS spotlights。

　　Bakhtiari 認為無論是人類、非人靈長類還是老鼠，哺乳動物的視覺單元都有背側和腹側流。

　　那么，用人工神經網絡能解釋這兩者嗎？

　　Shahab 通過在電影片段上訓練對比預測編碼（CPC）網絡，發(fā)現如果神經網絡包含兩條獨立的平行路徑，神經網絡會自發(fā)地形成背側和腹側流。

　　背側流路徑與小鼠背側區(qū)域匹配良好，而腹側流與小鼠腹側流匹配良好。

　　另一方面，經過監(jiān)督訓練的網絡，或者只有一條通路的網絡，就無法與老鼠的大腦相匹配。

淺層無監(jiān)督模型

　　研究人員最近發(fā)現淺層無監(jiān)督模型最能預測小鼠視覺皮層的神經反應。

 

　　論文地址：https://www.biorxiv.org/content/10.1101/2021.06.16.448730v2.full.pdf

　　Nayebi 等人 2021 年的論文表示深層神經網絡是受靈長類動物的視覺皮層啟發(fā)而開發(fā)的偉大模型，但對老鼠來說就不那么適用了。

　　他們使用老鼠的視覺皮層數據（靜態(tài)圖像），并將其與不同架構的監(jiān)督和自我監(jiān)督網絡進行比較。

　　一個有趣的發(fā)現是，具有平行分支的淺層網絡能更好地解釋老鼠視覺皮層的數據。這證實了 Shahab 的發(fā)現。

　　Nayebi 團隊提出的論點是，老鼠的視覺大腦是一個淺層的「通用」視覺機器，面對各種任務都能勝任，不像人類大腦中的深層神經網絡，只對某一個任務特別精通。

　　Conwell 團隊在 NeurIPS 2021 發(fā)表了另一篇關于小鼠視覺皮層自我監(jiān)督學習的論文，并得出了與前兩篇論文一致的結論。

 

　　論文地址：https://proceedings.neurips.cc/paper/2021/file/2c29d89cc56cdb191c60db2f0bae796b-Paper.pdf

超越人類

　　Geirhos 等人在 NeurIPS 2021 的論文表明，人類非常擅長在失真情況（例如噪聲、對比度變化、旋轉等）下對圖像進行分類。

 

　　論文地址：https://arxiv.org/pdf/2106.07411.pdf

　　在這篇論文中，他們發(fā)現，新的自我監(jiān)督和多模態(tài)模型在進行圖像分類任務時，魯棒性已經和人類不相上下。

　　其背后的一個重要因素是訓練網絡用了多少數據：用更多數據訓練的模型更魯棒。

　　那是因為新模型對紋理不太敏感，而對形狀更敏感，這也就意味著它們似乎走了更少的捷徑。當然，新模型仍然會犯明顯的錯誤。

多模態(tài)神經網絡

 

　　論文地址：https://openreview.net/pdf?id=6dymbuga7nL

　　Choksi 團隊在 2021 年 SVHRM 研討會上提出，人類大腦的海馬體包含多模態(tài)的「概念細胞」(例如詹妮弗·安妮斯頓細胞)，它們會對概念或圖像的文本表示做出反應。

　　有趣的是，CLIP 也是這樣做的。

　　事實上在這篇論文中，作者利用公開的功能磁共振成像數據表明，多模態(tài)網絡，包括 CLIP，最能解釋大腦海馬體的數據。

無監(jiān)督深度學習

　　Storrs 等人發(fā)表在《Nature Human Behaviour》的論文介紹了他們使用無監(jiān)督學習預測人類對光澤的感知。

　　他們在一組紋理上訓練 pixel-VAE，并尋找 pixel-VAE 與人類感知物體表面的方式的相似之處。他們發(fā)現，VAE 很自然地將不同的紋理組成因素進行解耦，這一點非常符合人類的感知方式。

　　此外，他們發(fā)現經過監(jiān)督學習的網絡在這項任務上的表現反而不盡如人意。

 論文地址：https://www.nature.com/articles/s41562-021-01097-6.pdf

　　今年，研究人員在將無監(jiān)督和自監(jiān)督模型與大腦匹配方面取得了巨大進步。它們可以更好地匹配大腦數據，還可以在沒有標簽的情況下進行訓練。

　　自監(jiān)督為沒有人工標簽的學習打開了大門，但最新的模型經常需要大量的數據來進行訓練。例如，GPT-3 基本上學習了人類積累的所有文本（大約 5000 億個 token）。

　　相比之下，在最健談的家庭里，孩子五歲時也就會接觸到約 3000 萬個單詞。

　　所以，即使 GPT-3 是一種看似合理的語言習得和表征機制，但與人類大腦相比，效率仍然相差 4 個數量級。

　　PS：作者還在更新哦！

作者介紹

　　Patrick Mineault 是一名獨立神經科學家，此前，曾在 Facebook 擔任 BCI 工程師，還有谷歌的軟件工程師和數據科學家。 

　　個人主頁：https://xcorr.net/about/

　　目前，他聯合創(chuàng)辦了 Neuromatch Academy 這家公司，并擔任 CTO 一職。

　　Mineault 曾在 McGill 獲得了視覺神經科學博士學位，并在 UCLA 完成了博士后。在 Facebook 工作那段時間，他曾構建了一個 BCI，能夠通過大腦實現打字。 

　　LeCun 和 Jeff Dean 就 Patrick Mineault 對過去一年無監(jiān)督大腦模型的研究回顧進行了點評。

　　「Nice！但是 BYOL、Barlow Twins 和 VICReg 是用于訓練聯合嵌入架構的「非對比」方法。」 

　　谷歌大牛 Jeff Dean 表示，這是 2021 年關于神經科學無監(jiān)督學習和自監(jiān)督學習一些非常棒的工作。