這一次，腦機接口可以實時讀取人類腦中畫面了？
在讀取語言之后，腦機接口也可以實時讀取人類腦中的畫面了。
由俄羅斯腦機接口公司 Neurobotics、莫斯科物理技術學院（MIPT）研發的一種全新腦機接口算法最近被公之于眾，它可以利用人工神經網絡和腦電圖將人類大腦中的圖像實時顯示在計算機屏幕上。而且，與馬斯克腦機接口公司研發的「大腦縫紉機 」不同，這種腦機接口無需開顱植入電極，在臨床和日常生活中應用更加廣泛。
一位被試正在使用該腦機接口。右下角是被試觀看實時畫面，右上角是通過腦機接口重建的畫面。
今年 7 月，Facebook 與加州大學舊金山分校（UCSF）有關腦機接口實時讀取人類語言的研究剛剛登上《Nature》子刊，其快速解碼的機器學習算法效果令人驚嘆。
現在看來，我們不僅有望實現「意念打字」，或許還可以使用人眼這一「精度超高」的攝像頭來進行錄像，實現科幻影視作品描繪的圖景。不過，這篇莫斯科物理技術學院的論文還沒有經過同行評審。
英劇《黑鏡》一集中的男主角過海關時被要求回放自己通過某種設備肉眼錄下的視覺記憶。
對于研究者來說，新成果使得構建由腦信號控制的中風后康復裝置成為可能。研究團隊在 bioRxiv 上發表了相關研究論文，還發布了一段他們「讀心」系統的效果視頻。雖然畫面比較模糊，但我們依然可以分辨出畫面中的大致場景類別（如人、瀑布、車景）。
視頻中原始圖像和神經網絡處理 EEG 信號重建的圖像對比（由于版權原因，人像原圖被替換了）。
為了構建這一設備，神經生物學家需要理解大腦如何編碼信息。其中一個關鍵方面是，研究人們在觀看視頻時感知視覺信息的大腦活動過程。
現有的解決方案是，要么使用功能磁共振成像來提取觀察到的圖像，要么通過植入物直接分析來自神經元的信號。兩種方法在臨床和日常生活中的應用都非常有限。
俄羅斯研究者開發的這種腦機接口依賴的是人工神經網絡和腦電圖（EEG），后者是一種可以通過非侵入式電極（無需手術植入）記錄腦電波的技術。通過分析大腦活動，該系統可以實時重現人類看到的圖像。
「我們正在進行國家技術計劃（National Technology Initiative）神經網絡輔助技術項目，該項目致力于構建一種腦機接口，讓中風患者控制手臂外骨骼、癱瘓患者駕駛電動輪椅等，最終目標是讓健康的人也能提高神經控制的準確率，」MIPT Neurorobotics 實驗室負責人 Vladimir Konyshev 表示。
技術細節
該腦機接口的構建實驗共分為兩個階段。
在第一階段，神經生物學家讓健康的人觀看一些 10 秒的 YouTube 視頻片段，總共 20 分鐘。研究團隊隨機選擇了 5 個視頻類別：抽象形態、瀑布、人臉、移動的裝置和汽車運動。
通過分析腦電圖數據，研究者發現，每一類視頻的腦電波是不同的。這使得研究小組能夠實時分析大腦對于視頻的反應。
在實驗的第二階段，研究者從五個類別中隨機選擇了三個類別并開發了一個本地反饋（native feedback）模型，反饋模型的核心思想是將腦機接口分類器的預測結果以自然圖像的形式呈現出來，而且要盡可能與實際觀察到的圖像接近。
該模型分為兩個神經網絡：一個用于從「噪聲」中生成隨機特定類別圖像，另一個根據腦電圖生成類似的「噪聲」。接下來，該團隊訓練這兩個網絡協同工作，將腦電圖信號轉換為與被試觀看內容相似的實際圖像。
論文中提到的本地反饋模型如下圖所示。
圖 2：本地反饋模型的總體方案。
將降維后得到的 20 維腦電圖特征向量映射到預先訓練好的圖像自編碼器的潛在空間中，這個自編碼器能夠重建幾個預學習類別的自然圖像。圖像解碼器不依賴于任何神經生理學數據，僅考慮一組刺激圖像即可進行預訓練。特征映射器是單獨訓練的，因為它既需要腦電圖特征庫，也需要一個訓練好的圖像解碼器。
圖像解碼器
圖像解碼器（ID）是圖像到圖像卷積自編碼器模型的一部分。編碼器部分基于預訓練的 VGG-11 模型。解碼器部分由全連接輸入層組成，用于維度增強，然后是 5 個解卷積塊，每個解卷積塊包含一個解卷積層，然后是 ReLU 激活。最后的解卷積塊包含雙曲正切激活層。解碼器生成 192×192×3 維的彩色圖像（見圖 3a）。
圖 3. 圖像解碼器.a）模型結構；b）常規訓練
除了圖像重建之外，解碼器還有一個特定的潛在空間分布。他們通過引入一個圖 3（b）所示的訓練過程來解決這個問題。
腦電圖特征映射器
腦電圖特征映射器的目標是將腦電圖特征域的數據轉換成圖像解碼器潛在空間域。在理想狀態下，觀察到的圖像和此時的腦電圖記錄最終會轉換為同一個潛在空間矢量圖，因此解碼器能夠根據剛才看到或想象的場景去生成一個正確的視覺圖像。
另一個問題是如何應對嘈雜的數據：由于存在未檢測到的偽像，或者被攝對象分散注意力，實時記錄場景中的腦電圖信號屬性可能會發生顯著變化。此時反饋系統應避免出現混亂的圖像切換，以免給觀察對象太多的壓力。
人類腦中的圖像是連續數據，所以使用循環神經網絡就變得順理成章了——新的算法使用了 LSTM 組件作為循環單元。此外，研究人員還整合了注意力機制。
圖 4，腦電圖特征映射。a）模型結構；b）訓練方法。
測試結果
為了測試該系統呈現頭腦活動的能力，研究者選了一些同一類的以前看過的視頻。正如他們看到的那樣，腦電圖被記錄下來，然后反饋給神經網絡。系統通過了測試，生成了具有可信度的圖像，90% 都可以很輕松地進行分類。
和大多數 AI 算法一樣，研究人員提出的神經網絡模型是用 Python 實現的，運行的計算機也只需普通臺式機：英特爾 i7 處理器，英偉達 GeForce 1050Ti 顯卡。在讀取的過程中，算法可以處理每秒 3 幀圖像。通常，在分類上約有 90% 的重建圖像是可識別的程度。
「此外，我們可以把這個當作實時腦機接口的基礎。在當前的技術條件下，Elon Musk 那樣的侵入式接口存在手術性質復雜和快速退化的問題——基本上幾個月內就失效了。我們希望可以最終設計出更實用也不需要植入的神經接口。」研究者補充道。
