新年伊始，Meta腦機(jī)接口研究傳來新進(jìn)展——

語言模型加持下，無需動腦部手術(shù)，腦機(jī)接口實(shí)現(xiàn)了當(dāng)前非侵入式方式（MEG）最準(zhǔn)確的結(jié)果。

簡單來說，僅利用AI模型Brain2Qwerty，他們實(shí)現(xiàn)了對腦電圖（EEG）或腦磁圖（MEG）電信號的高度解析。

具體效果如何呢？？

據(jù)論文介紹，使用MEG，Brain2Qwerty的平均字符錯誤率（CER）為32%。按照Meta的說法，這是當(dāng)前使用全字母鍵盤和頭骨外收集的信號進(jìn)行大腦打字最準(zhǔn)確的結(jié)果。

最好的例子中，該模型還實(shí)現(xiàn)了19%的CER，并能完美解碼訓(xùn)練集之外的多種句子。

想要直觀理解這項技術(shù)，請看下圖：

谷歌前員工還順帶調(diào)侃，這不妥妥的新雷朋眼鏡!（doge）

更有人腦洞大開，這下即使睡覺也能自動發(fā)帖了~

不需要動腦部手術(shù)的“非侵入性”腦機(jī)接口

按照當(dāng)前理解，腦機(jī)接口是一種在人類大腦和計算機(jī)或其他設(shè)備之間建立直接通信的技術(shù)。

這種通信可以是雙向的，既允許人類通過思維活動控制外部設(shè)備，也允許外部設(shè)備解讀大腦信號并與之交互。

從類型上看，它有侵入式和非侵入式兩種。

前者典型代表就是馬斯克旗下的Neuralink，這類接口通過在大腦內(nèi)植入傳感器或電極來實(shí)現(xiàn)，一般主要用于醫(yī)療領(lǐng)域，如治療帕金森病、癲癇或進(jìn)行深度腦刺激。

而后者通常使用外部設(shè)備來監(jiān)測大腦活動，比如將腦電圖傳感器貼在頭皮上，由于風(fēng)險較小且易于使用，這種方式往往在應(yīng)用中更加常見。

接下來，我們重點(diǎn)說說Meta如何將AI與非侵入式腦機(jī)接口做結(jié)合，相關(guān)答案可以從Meta此次公布的兩篇論文中尋找。

在第一篇論文中，Meta詳細(xì)介紹了Brain2Qwerty系統(tǒng)架構(gòu)和實(shí)驗過程。

他們找來了35名志愿者，均為右撇子且熟練打字的西班牙語母語者，無神經(jīng)或精神疾病史。其中23%為男性，77%為女性，平均年齡31.6±5.2歲。

這群人接到的任務(wù)是，在鍵盤上打出簡短記住的句子，同時其大腦活動將被EEG或MEG記錄。

每個試驗包含讀、等待、打字三個步驟。句子（例如el procesador ejecuta la instrucción）逐詞顯示，每個單詞顯示465-665ms，讀完后停頓1.5秒，之后開始“盲打”。

與此同時，志愿者的大腦電信號被輸入到Brain2Qwerty系統(tǒng)中。

這一系統(tǒng)主要包含三個模塊：

• 卷積模塊：以500毫秒窗口的M/EEG信號作為輸入，對大腦信號進(jìn)行初步處理和特征提取；
• Transformer模塊：在句子層面進(jìn)行訓(xùn)練，能夠捕捉句子整體的語義和結(jié)構(gòu)信息，進(jìn)一步處理卷積模塊輸出的特征；
• 語言模塊：采用預(yù)訓(xùn)練的語言模型，對Transformer模塊的輸出進(jìn)行糾正，利用語言的先驗知識和語法規(guī)則，提升文本輸出的準(zhǔn)確性。

最終， 他們使用句子層面的字符錯誤率（Character Error Rate，CER）來評估模型性能。即計算預(yù)測文本與目標(biāo)文本之間的字符差異，并以百分比形式呈現(xiàn)錯誤率。

結(jié)果顯示，使用腦磁圖時，Brain2Qwerty的字符錯誤率達(dá)到32±0.6%，使用腦電圖時為67±1.5%。這種性能反映出不同記錄設(shè)備之間存在顯著差異。

最好的例子中，該模型還實(shí)現(xiàn)了19%的CER。（可以解碼最高80%的新句子）

在第二篇論文中，Meta探究了大腦中語言產(chǎn)生的神經(jīng)機(jī)制，由此進(jìn)一步證實(shí)了語言產(chǎn)生遵循層級化處理過程的理論預(yù)測。

目前有這樣一種被廣泛接受的理論，即語言產(chǎn)生是一個層級化的過程。也就是說，人們在生成語言時，大腦會按照一定的層次順序?qū)φZ言信息進(jìn)行處理。

通過觀察上述35名志愿者的神經(jīng)活動，研究得出如下發(fā)現(xiàn)：

在每個單詞產(chǎn)生之前，神經(jīng)活動呈現(xiàn)出特定的規(guī)律，具體表現(xiàn)為按上下文、單詞、音節(jié)和字母的順序生成語言表征，且呈現(xiàn)出上升和下降的變化。

這無疑印證了前述理論。

另外，研究還發(fā)現(xiàn)每個層次的神經(jīng)表征在大腦中維持的時間不同。一般來說，高層次的上下文表征持續(xù)時間較長，而低層次的字母表征持續(xù)時間相對較短。

同時，這些不同層次的表征在時間上存在重疊，即多個連續(xù)的語言表征會同時存在于大腦活動中，但它們通過動態(tài)神經(jīng)編碼機(jī)制在不同的神經(jīng)子空間中進(jìn)行表示，從而避免了相互干擾。

這不僅進(jìn)一步支持了語言理論中的層級預(yù)測，而且說明語言產(chǎn)生過程中的各個層次表征之間存在著復(fù)雜而有序的時間關(guān)系和神經(jīng)機(jī)制。

相關(guān)研究始于2016年

事實(shí)上，早在2016年，還是Facebook的Meta就開始了腦機(jī)接口研究。

不過這一消息是官方到2017年才透露的。

當(dāng)時聲稱，一年前Facebook啟動了一個名為Building 8的特別團(tuán)隊，專注于開發(fā)非侵入性腦機(jī)接口，并稍稍分享了正在進(jìn)行中的六個項目當(dāng)中的兩個。

比如大腦讀取帽子這項計劃，使用者只需思考就可以用它來發(fā)短信；又或者開發(fā)一種可穿戴設(shè)備（比如一條臂帶），讓人們能夠通過皮膚“聽到”詞語。

然而，根據(jù)國外相關(guān)報道，由于遇到技術(shù)障礙，上述項目在進(jìn)行四年后以失敗告終。

而現(xiàn)在，通過與西班牙的一個研究中心展開合作，Meta終于在這上面取得新進(jìn)展。

此外，根據(jù)Meta公告，他們還將向一家法國知名醫(yī)療機(jī)構(gòu)Rothschild Foundation Hospital（在神經(jīng)介入領(lǐng)域有豐富經(jīng)驗）捐贈220萬美元，繼續(xù)相關(guān)研究。

而且不難看出，他們和歐洲多個研究機(jī)構(gòu)均展開了廣泛合作。

回到研究本身，整體而言，按Meta自己的話來說：

最新結(jié)果縮小了侵入性和非侵入性方法之間的差距，從而為開發(fā)安全的腦機(jī)接口開辟了道路，以幫助無法溝通的患者。

不過，提高準(zhǔn)確性仍是未來關(guān)鍵。

論文：
https://ai.meta.com/research/publications/brain-to-text-decoding-a-non-invasive-approach-via-typing/https://ai.meta.com/research/publications/from-thought-to-action-how-a-hierarchy-of-neural-dynamics-supports-language-production/