眨眼就能照相？哈佛從神經信號提取出圖像，成果登Nature
將肉眼直接用來“照相”，也許將成為可能……
哈佛團隊推出的新模型能夠分析神經信號，甚至從視覺皮層中直接提取影像。
相比于傳統神經解析工具，這項成果大大提高了識別效率和連續性。
Nature的編輯也評價它“十分優雅”：
這款模型名叫CEBRA（發音同zebra），是將對比式學習與非線性獨立分析相結合的產物。
一名團隊成員表示，這個名字十分貼切，因為CEBRA可以把信息“條紋化”，就像斑馬一樣。
在小鼠身上進行的實驗中，CEBRA視頻解析的準確率超過了95%。
團隊還發現，CEBRA在跨越大鼠和小鼠兩個物種時的表現具有一致性。
所以可以展望CEBRA在其他物種上的應用，說不定人眼攝像機也會成為可能。
論文通訊作者也表示，未來的目標是將CEBRA集成到腦機接口中：
本質上，CEBRA是一個神經信號解析模型。
所以它的技能不只有圖像獲取，只要和神經信號有關的事情，它都能做。
比如根據神經活動來預測肢體的運動行為。
還可以根據神經信號判斷肢體活動是主動還是被動做出。
對比式非線性學習
行為或神經數據的降維壓縮一直是神經信號識別中不可缺少的一環。
研究團隊將對比式學習引入非線性獨立成分分析模型，提出了新的框架。
對比式學習是一種強大的自驅動學習方式，使用呈現對比關系的樣本進行訓練，以發現數據間的共性與個性。
用CEBRA的模型訓練神經網絡，可以得到一種編碼器。
這種編碼器則可以生成由動作或時間調控的低維嵌入空間。
具體而言，是通過將離散或連續的變量與時間相結合使數據對得到分布，然后再交由編碼器處理。
CEBRA獲取神經活動嵌入時同時使用用戶定義（監督驅動、假設式）和只帶有時間（自驅動、發現式）的標簽。
這一過程中，CEBRA將行為及時間標簽與神經信號一并優化，映射到低維嵌入空間。
根據數據集大小的不同，優化計算可以采用批量計算、隨機梯度下降等不同方式。
優化后得到的低維嵌入既可以用于數據可視化，也可以在解碼等下游工作中使用。
相比于傳統的非線性降維方式，對比式訓練無需生成模型，適用廣泛性更強。
魯棒性與實用性兼具
在事實信息重構的測試中，CEBRA的表現顯著優于pi-VAE。
然后，團隊又使用了一個海馬數據集進行測試，該數據集被用來作為神經嵌入算法的基準。
在這一輪測試中，團隊賦予了pi-VAE卷積網絡加持，但最終結果仍是CEBRA更勝一籌。
魯棒性方面，團隊使用了代數拓撲學方法進行測試。
將CEBRA生成的低維嵌入投影到球面，團隊發現了一個環形拓撲結構。
通過計算Eilenberg-MacLane坐標發現，CEBRA的環形拓撲結構與（真實）空間跨維度匹配。
至于跨個體甚至物種的表現，團隊在訓練時就使用了包含多種動物的數據集。
測試結果也表明，CEBRA生成的結果具有很高的個體間和種間一致性。
與完全在未見過的個體上進行訓練相比，CEBRA的結果錯誤更少、效率也更高。
實際應用中，團隊在小鼠身上進行了實驗。
他們讓小鼠反復觀看幾段視頻，并與小鼠視覺皮層的信號一并作為訓練數據。
另有一些視頻則用作測試數據，結果顯示，CEBRA視頻解析的準確率超過了95%，遠高于其他模型。
