?大數(shù)據(jù)文摘作品

作者：Miggy

對于癱瘓患者來說，最大的苦楚來自無法與外界進行溝通。雖然大腦依然活躍并且希望表達(dá)，但是無法驅(qū)動發(fā)聲肌肉，會讓這類患者的語言機制逐漸蛻化。

來自加州大學(xué)舊金山分校神經(jīng)外科主任Edward Chang正在為失去說話能力的人開發(fā)腦機接口技術(shù)。他的實驗室致力于解碼與聲道命令相關(guān)的大腦信號，并通過神經(jīng)植入物，將大腦的語言機能，通過計算機輸出出來。該項目不僅需要當(dāng)今最好的神經(jīng)技術(shù)硬件，還需要強大的機器學(xué)習(xí)模型。

最近，這一技術(shù)也取得了長足的進步，讓一位因癱瘓“失聲”15年的患者利用電腦開始了與外界的交流。Chang也將這一技術(shù)過程記錄了下來，發(fā)布在IEEE上。

一起來看看。

讓一顆15年沒有說話的大腦“開口

電腦屏幕上顯示“你要喝點水嗎？”這個問題。下面，三個小點正在閃爍，隨后一行字出現(xiàn)：“不，我不渴?！?/p>

大腦的活動讓溝通發(fā)生——值得一提的是，發(fā)出這段對話的，是一個超過 15 年沒有說話的失聲者的大腦。15年前，由于一次中風(fēng)，他的大腦和身體其他部位就“斷聯(lián)”了，這位患者與外界的溝通從此停擺。他嘗試使用許多新技術(shù)嘗試與外界交流；最近，他使用附在棒球帽上的指針在觸摸屏上敲擊單詞，這種方法有效但速度慢。

最近，這位患者自愿參加了 我的研究小組在舊金山加利福尼亞大學(xué)的臨床試驗，希望能探索一種更快的溝通方法。到目前為止，他只在研究期間可以利用大腦產(chǎn)生文字的這套技術(shù)系統(tǒng)，但他希望幫助將這項技術(shù)開發(fā)成像他這樣的人可以在日常生活中使用的東西。

在我們的試點研究中，這位志愿者的大腦表面覆蓋了一個薄而靈活的電極陣列。電極記錄神經(jīng)信號并將它們發(fā)送到語音解碼器，語音解碼器將信號翻譯成他想說的話。這是無法說話的癱瘓者第一次使用神經(jīng)技術(shù)從大腦中“廣播”出整個單詞，而不僅僅是字母。

該試驗是十多年來對支配言語的潛在大腦機制研究的成果，我們?yōu)槠駷橹顾〉玫某删透械綗o比自豪。但我們才剛剛開始。我在 UCSF的實驗室正在與世界各地的同事合作，使這項技術(shù)足夠安全、穩(wěn)定和可靠，足以滿足家庭日常使用。我們還在努力提高系統(tǒng)的性能，因此值得付出努力。

第一個版本的腦機接口給了志愿者一個包含 50 個實用單詞的詞匯。

神經(jīng)植入物如何工作？

在過去的二十年里，神經(jīng)植入物技術(shù)取得了長足的進步。用于聽力的假體植入物發(fā)展得最遠(yuǎn)，其設(shè)計與內(nèi)耳的耳蝸神經(jīng)接口或直接進入聽覺腦干。還有大量關(guān)于視網(wǎng)膜和大腦植入物的研究，以及為假手提供觸覺的努力。所有這些感官假肢都從外部世界獲取信息，并將其轉(zhuǎn)換為電信號，輸入大腦的處理中心。

上周，文摘菌還報道了一篇通過植入物幫助嗅覺失靈的患者重新感到味覺的案例。

另一類神經(jīng)假肢記錄大腦的電活動并將其轉(zhuǎn)換為控制外部世界的信號，例如 機械臂、視頻游戲控制器或計算機屏幕上的光標(biāo)。BrainGate 聯(lián)盟等組織已使用最后一種控制方式來讓癱瘓的人輸入單詞——有時一次輸入一個字母，有時使用自動完成功能來加快輸入速度。

這類通過大腦進行打字的技術(shù)并非首創(chuàng)，不過，研究者通常將植入物放置在運動皮層，也即是控制運動的大腦部分。然后通過用戶想象某些物理動作來控制在虛擬鍵盤上移動的光標(biāo)。另一種方法是我的一些合作者在 2021 年的一篇論文中首創(chuàng)的，它讓一個用戶想象他正拿著筆在紙上寫信，在運動皮層中產(chǎn)生信號，這些信號被翻譯成文本。這種方法的打字速度誕生了新的記錄，使志愿者每分鐘可以寫大約 18 個單詞。

在我們最新的實驗室研究中，我們采取了更高效率的方法。我們不是解碼用戶移動光標(biāo)或筆的意圖，而是解碼控制聲道的意圖，包括控制喉部（通常稱為語音盒）、舌頭和嘴唇的數(shù)十塊肌肉。

對于癱瘓的人來說，看似簡單的對話設(shè)置是由復(fù)雜的神經(jīng)技術(shù)硬件和解碼他的大腦信號的機器學(xué)習(xí)系統(tǒng)實現(xiàn)的。

十多年前，我開始在這個領(lǐng)域工作。作為一名神經(jīng)外科醫(yī)生，我經(jīng)常會看到嚴(yán)重受傷導(dǎo)致無法說話的患者。令我驚訝的是，在許多情況下，腦損傷的位置與我在醫(yī)學(xué)院學(xué)到的綜合征不匹配，我意識到我們?nèi)匀恍枰獙W(xué)習(xí)很多關(guān)于大腦如何處理語言的知識。我決定研究語言的潛在神經(jīng)生物學(xué)，如果可能的話，開發(fā)一種腦機接口 (BMI) 來恢復(fù)失去語言的人的交流。除了我的神經(jīng)外科背景外，我的團隊還擁有語言學(xué)、電氣工程、計算機科學(xué)、生物工程和醫(yī)學(xué)方面的專業(yè)知識。

肌肉如何幫你說話?

語言是使 人類與眾不同的能力之一。很多其他物種都會發(fā)聲，但只有人類以無數(shù)不同的方式組合了一組聲音來表達(dá)。這也是一種非常復(fù)雜的運動行為——一些專家認(rèn)為這是人們執(zhí)行的最復(fù)雜的運動行為。說話是通過聲道的調(diào)制氣流的產(chǎn)物；我們通過在喉部聲帶中產(chǎn)生可聽見的振動并改變嘴唇、下巴和舌頭的形狀來塑造呼吸。

聲道的許多肌肉與基于關(guān)節(jié)的肌肉（例如手臂和腿部的肌肉）完全不同，后者只能以幾種規(guī)定的方式移動。例如，控制嘴唇的肌肉是括約肌，而構(gòu)成舌頭的肌肉更多地受液壓控制——舌頭主要由固定體積的肌肉組織組成，因此移動舌頭的一部分會改變其形狀別處?？刂七@些肌肉運動的物理原理與二頭肌或腘繩肌完全不同。

因為涉及的肌肉如此之多，并且它們每一個都有如此多的自由度，所以基本上有無數(shù)種可能的配置。但是當(dāng)人們說話時，事實證明他們使用的核心動作相對較少（在不同的語言中會有所不同）。例如，當(dāng)說英語的人發(fā)“d”音時，他們會把舌頭放在牙齒后面；當(dāng)他們發(fā)出“k”音時，他們的舌根會向上接觸到口腔后部的天花板。很少有人意識到說出最簡單的詞所需的精確、復(fù)雜和協(xié)調(diào)的肌肉動作。

團隊成員 David Moses 查看患者腦電波讀數(shù) [左屏幕] 和解碼系統(tǒng)活動顯示 [右屏幕]。

我的研究小組專注于向面部、喉嚨、嘴巴和舌頭的肌肉發(fā)送運動命令的大腦運動皮層部分。這些大腦區(qū)域是多任務(wù)的：它們管理產(chǎn)生語言的肌肉運動，以及吞咽、微笑和接吻的相同肌肉的運動。

研究這些區(qū)域的神經(jīng)活動需要毫米級的空間分辨率和毫秒級的時間分辨率。從歷史上看，無創(chuàng)成像系統(tǒng)已經(jīng)能夠提供其中之一，但不能同時提供兩者。當(dāng)我們開始這項研究時，我們發(fā)現(xiàn)關(guān)于大腦活動模式如何與最簡單的語音組成部分相關(guān)聯(lián)的數(shù)據(jù)非常少：音素和音節(jié)。

在這里，我們要感謝我們的志愿者。在 UCSF 癲癇中心，準(zhǔn)備手術(shù)的患者通常會通過手術(shù)將電極放置在他們的大腦表面上幾天，這樣我們就可以繪制出癲癇發(fā)作時所涉及的區(qū)域。在這幾天的有線停機期間，許多患者自愿參加神經(jīng)學(xué)研究實驗，這些實驗利用了他們大腦中的電極記錄，讓我們能夠研究患者說話時的神經(jīng)活動模式。

所涉及的硬件稱為 皮層電圖(ECoG)。ECoG 系統(tǒng)中的電極不會穿透大腦，而是位于大腦表面。我們的陣列可以包含數(shù)百個電極傳感器，每個傳感器記錄數(shù)千個神經(jīng)元。到目前為止，我們已經(jīng)使用了一個具有 256 個通道的陣列。我們在這些早期研究中的目標(biāo)是發(fā)現(xiàn)人們說簡單音節(jié)時皮層活動的模式。我們要求志愿者說出特定的聲音和單詞，同時記錄他們的神經(jīng)模式并跟蹤他們的舌頭和嘴巴的運動。有時我們通過讓他們涂上彩色面部彩繪并使用計算機視覺系統(tǒng)提取運動手勢來做到這一點；其他時候，我們使用位于患者頜下的超聲波機器對他們移動的舌頭進行成像。

該系統(tǒng)從覆蓋在患者大腦上的柔性電極陣列開始，以接收來自運動皮層的信號。該陣列專門捕獲用于患者聲道的運動命令。一個固定在頭骨上的端口引導(dǎo)連接到計算機系統(tǒng)的電線，該系統(tǒng)將大腦信號解碼并將其翻譯成患者想說的話，再將他們的答案展示在顯示屏上。

我們使用這些系統(tǒng)將神經(jīng)模式與聲道的運動相匹配。起初，我們有很多關(guān)于神經(jīng)代碼的問題。一種可能性是神經(jīng)活動編碼了特定肌肉的方向，大腦本質(zhì)上就像按下鍵盤上的鍵一樣打開和關(guān)閉這些肌肉，并且通過另一種模式?jīng)Q定肌肉收縮的速度。另一個是神經(jīng)活動與用于產(chǎn)生某種聲音的肌肉收縮的協(xié)調(diào)模式相對應(yīng)。（例如，要發(fā)出“aaah”的聲音，舌頭和下巴都需要下垂。）我們發(fā)現(xiàn)，有一個表示圖可以控制聲道的不同部分，以及不同的大腦區(qū)域。我們可以將二者結(jié)合起來，以產(chǎn)生流利的言語。

人工智能在當(dāng)今神經(jīng)技術(shù)中的效用

我們的工作取決于過去十年人工智能的進步。我們可以將收集到的關(guān)于神經(jīng)活動和語音運動學(xué)的數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)，然后讓機器學(xué)習(xí)算法在兩個數(shù)據(jù)集之間的關(guān)聯(lián)中找到模式，進而在神經(jīng)活動和產(chǎn)生的語音之間建立聯(lián)系，并使用這個模型來產(chǎn)生計算機生成的語音或文本。但是這種技術(shù)無法為癱瘓的人訓(xùn)練算法，因為我們?nèi)鄙僖话氲臄?shù)據(jù)：我們有神經(jīng)模式，但沒有關(guān)于相應(yīng)的肌肉運動。

我們意識到，使用機器學(xué)習(xí)的更聰明的方法是將問題分為兩個步驟。首先，解碼器將來自大腦的信號翻譯成聲道肌肉的預(yù)期運動，然后將這些預(yù)期運動翻譯成合成語音或文本。

我們稱其為仿生方法，因為它復(fù)制了生物學(xué)的運動模式；在人體中，神經(jīng)活動直接負(fù)責(zé)聲道的運動，僅間接負(fù)責(zé)發(fā)出的聲音。這種方法的一大優(yōu)勢在于訓(xùn)練解碼器將肌肉運動轉(zhuǎn)化為聲音的第二步。因為聲道運動和聲音之間的關(guān)系更容易獲取，我們能夠在來自未癱瘓的人的大型數(shù)據(jù)集上訓(xùn)練解碼器。

下一個重大挑戰(zhàn)是將技術(shù)帶給真正可以從中受益的人。

美國國立衛(wèi)生研究院 (NIH) 正在資助 我們的試點試驗，該試驗于 2021 年開始。我們已經(jīng)有兩名植入了 ECoG 陣列的癱瘓志愿者，我們希望在未來幾年招募更多人。主要目標(biāo)是改善他們的溝通，我們以每分鐘字?jǐn)?shù)來衡量績效。使用全鍵盤打字的成年人平均每分鐘可以輸入 40 個單詞，最快的打字員可以達(dá)到每分鐘 80 個單詞以上的速度。

未來：用聲音代替文字輸出

我們認(rèn)為，利用語音系統(tǒng)說話的效果會更好。人類講話比打字快得多：說英語的人一分鐘可以輕松地說出 150 個單詞。我們想讓癱瘓的人以每分鐘 100 字的速度進行交流。為了實現(xiàn)這一目標(biāo)，我們還有很多工作要做。

植入程序和其他的植入物類似。首先，外科醫(yī)生切除一小部分顱骨；接下來，將柔性 ECoG 陣列輕輕放置在皮層表面。然后將一個小端口固定在顱骨上，并通過頭皮上的一個單獨開口離開。我們目前需要這個端口，它連接到外部電線以從電極傳輸數(shù)據(jù)，但我們希望將來使系統(tǒng)無線化。

我們考慮使用穿透性微電極，因為它們可以記錄較小的神經(jīng)群體，因此可以提供有關(guān)神經(jīng)活動的更多細(xì)節(jié)。但目前的硬件在臨床應(yīng)用中不如 ECoG 強大和安全。

另一個考慮因素是，穿透電極通常需要每天重新校準(zhǔn)才能將神經(jīng)信號轉(zhuǎn)化為清晰的命令，而對神經(jīng)設(shè)備的研究表明，設(shè)置速度和性能可靠性是讓人們使用該技術(shù)的關(guān)鍵。這就是為什么我們在 創(chuàng)建長期使用的“即插即用”系統(tǒng)時優(yōu)先考慮穩(wěn)定性的原因。我們進行了一項研究，觀察志愿者的神經(jīng)信號隨時間的變化，發(fā)現(xiàn)如果解碼器使用多個會話和多天的數(shù)據(jù)模式，它的性能會更好。在機器學(xué)習(xí)的術(shù)語中，我們說解碼器的“權(quán)重”被繼承，產(chǎn)生了整合的神經(jīng)信號。

因為我們的癱瘓志愿者在我們觀察他們的大腦模式時不能說話，所以我們要求我們的第一位志愿者嘗試兩種不同的方法。他首先列出了 50 個對日常生活很方便的單詞，例如“餓”、“口渴”、“請”、“幫助”和“計算機”。在幾個月的 48 次會議中，我們有時要求他想象說出清單上的每個單詞，有時要求他開口嘗試“說出”這些單詞。我們發(fā)現(xiàn)嘗試說話會產(chǎn)生更清晰的大腦信號，并且足以訓(xùn)練解碼算法。然后志愿者可以使用列表中的這些單詞來生成他自己選擇的句子，例如“不，我不口渴”。

我們現(xiàn)在正在努力擴大詞匯量。為了實現(xiàn)這一目標(biāo)，我們需要繼續(xù)改進當(dāng)前的算法和界面，但我相信這些改進將在未來幾個月和幾年內(nèi)發(fā)生?，F(xiàn)在已經(jīng)建立了原理證明，目標(biāo)是優(yōu)化。我們可以專注于讓我們的系統(tǒng)更快、更準(zhǔn)確，并且——最重要的是——更安全、更可靠?，F(xiàn)在事情應(yīng)該進展得很快。

如果我們能夠更好地了解我們試圖解碼的大腦系統(tǒng)，以及癱瘓如何改變它們的活動，那么最大的突破可能會到來。我們已經(jīng)意識到，無法向聲道肌肉發(fā)送指令的癱瘓患者的神經(jīng)模式與能夠發(fā)送指令的癲癇患者的神經(jīng)模式截然不同。我們正在嘗試一項雄心勃勃的 BMI 工程壯舉，同時還有很多關(guān)于潛在神經(jīng)科學(xué)的知識需要了解。我們相信，這一切都會匯聚在一起，讓我們的患者交流的能力。

素材來源：https://spectrum.ieee.org/brain-computer-interface-speech?