2023年8月23日，《Nature》期刊一口氣發(fā)表了兩項獨立的腦機接口方向的研究,。

一項來自加州大學(xué)舊金山分校華裔科學(xué)家張復(fù)倫團隊,，另一項來自斯坦福大學(xué)的神經(jīng)科學(xué)家弗朗西斯·威利特(Francis Willett)團隊。兩項研究都旨在幫助那些因腦損傷和疾病而失去語言能力的人恢復(fù)語言能力,。

兩組研究團隊分別展示了各自最先進的腦機接口系統(tǒng)性能——在解碼速度和準(zhǔn)確性上分別打破了新紀(jì)錄。具體來說,，腦機接口系統(tǒng)可以將神經(jīng)信號翻譯成合成聲音所說的文本或單詞,。其解碼語音的速度分別為每分鐘62個單詞和78個單詞。自然對話的速度約為每分鐘160個單詞,。詞匯量超過1000個單詞,。這些進步為那些無法說話的人提供了以接近正常說話的速度進行交流的能力。

弗朗西斯·威利特(Francis Willett)在新聞發(fā)布會上表示：“現(xiàn)在可以想象這樣一個未來,，我們可以讓癱瘓的人恢復(fù)流暢的對話,，使他們能夠自由地說出他們想說的任何話,，而且準(zhǔn)確度高到足以被可靠地理解,。”

在斯坦福大學(xué)的研究中,，患者正在參與研究（圖片來源：Steve Fisch）

下面我們分別看一下兩項研究的細節(jié),。

# 來自斯坦福大學(xué)的Willett團隊的研究

來自斯坦福大學(xué)的Francis R. Willett團隊的研究中，67歲的Pat Bennett患有運動神經(jīng)元疾病,，也被稱為肌萎縮側(cè)索硬化癥,，這種疾病會導(dǎo)致肌肉逐漸失去控制，導(dǎo)致行動和說話困難(即保留了一些有限的口面部運動和發(fā)聲能力,，但無法產(chǎn)生可理解的言語),。

研究團隊嘗試給患者的大腦體感運動皮層植入了陣列電極(共包含128個電極)，用于收集單個神經(jīng)元活動,。參與者在BrainGate2試點臨床試驗中根究顯示器上的提示試圖做出個人的口面部運動(圖1a,b),，說出單個音素或說出單個單詞。研究人員記錄了四個微電極陣列的神經(jīng)活動——兩個在6v區(qū)(腹側(cè)運動前皮層)10,，兩個在44區(qū)(布羅卡區(qū)的一部分),。

圖1 口面部運動和言語嘗試的神經(jīng)表征

研究人員然后利用RNN對采集到的大腦信號進行解碼，并且搭配一個語言模型共同用于從神經(jīng)元活動中預(yù)測發(fā)聲,。

最終結(jié)果非常驚人,，利用該系統(tǒng),，患者能夠以平均每分鐘62個單詞的速度進行交流，而且125000個詞匯量中錯誤率為23.8%,，50個單詞的詞匯錯誤率為9.1%,。

# 來自加州大學(xué)舊金山分校張復(fù)倫團隊的研究

來自加州大學(xué)舊金山分校華裔科學(xué)家張復(fù)倫團隊的研究中，47的Ann,，在18年前由于腦干中風(fēng)后失去了說話的能力,。

張復(fù)倫團隊采用了與Willett團隊不同的方法,。研究人員在大腦皮層表面放置嵌入了253個 ECoG 電極的陣列,，可以同時記錄數(shù)千個神經(jīng)元的平均活動(圖2a)。并通過手術(shù)植入感覺運動皮層的左側(cè)“面部區(qū)域”——大腦中服務(wù)于口腔和面部肌肉(包括聲道)的部分,。

在該研究中,，參與者在屏幕上看到一個句子作為文本提示，并被指示在視覺提示后默默地嘗試說出這個句子(具體來說,，她試圖默默地說出這句話,，而不發(fā)出任何聲音)。這與想象或內(nèi)心語言不同,，因為她試圖盡其所能地使用她的發(fā)音器,。

同時，研究人員對所有253個ECoG電極記錄的神經(jīng)信號進行處理,，提取高伽馬活動(HGA;70 ~ 150Hz)和低頻信號(0.3 ~ 17Hz),。之后訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)模型來學(xué)習(xí)這些ECoG特征與手機、語音特征和發(fā)音手勢之間的映射,，然后我們分別使用它們來輸出文本,、合成語音音頻和動畫虛擬化身(圖2a)。該模型以每分鐘78個單詞的速度從1024個單詞組成句子,，單詞錯誤率為25.5%,。或者,，將大腦信號直接翻譯成合成語音,，對于1024個單詞的詞匯，單詞錯誤率為54.4%,；當(dāng)詞匯量小一些,，錯誤率有所下降(119個單詞的詞匯量為8.2%)。

圖1 聲道麻痹參與者的多模態(tài)語音解碼

張復(fù)倫團隊嘗試解碼面部表情,，并使用數(shù)字化身再現(xiàn),，這樣可以為文本或語音提供視覺反饋，極大地豐富了參與者的溝通能力,。與之前報道的基于ECoG腦機接口相比,，該項研究在詞匯量,、通信速度和語音解碼的多功能性方面都有顯著的提升。