2023年11月29日晚20點，復旦大學附屬華山醫院神經外科副主任醫師、博士生導師路俊鋒教授作為腦客中國科研第125位講者為大家帶來主題為《植入式漢語言腦機接口研究進展》的報告。
大家好，我來自于復旦大學附屬華山醫院神經外科，同時也是國家神經疾病醫學中心以及復旦大學神經外科研究所的一名神經外科醫生。 今天我報告的很多內容都是從一個神經外科醫生的角度來向線上的各位專家，老師來匯報，如何看待植入式語言腦機接口這項工作。
1、語言腦機接口的必要性
首先說明一下為什么我們日常工作會跟語言打交道？ 因為我們在做腦腫瘤手術時，尤其是功能區的手術時，比如說語言區，我們需要保護患者的語言功能。所以這時候我們就會開展一系列的語言研究，需要搞清楚語言區在哪里，語言在表達以及感知時產生的機制。 然后再判斷一下這些語言區跟腫瘤之間的關系，從而能夠最大程度的做到切除腫瘤時，也能保護患者的語言功能。
大家都知道語言是我們人類所特有的一個高級認知功能之一，也是我們文明和傳承的重要載體。 但是在包括漸凍癥、腦卒中還有腦腫瘤在內的各類重大的腦疾病都可以導致嚴重的語言功能障礙。
比如說像霍金這一類的漸凍癥患者，他意識完全清楚，但是他無法表達語言，無法說話。極大地影響了患者的社會生活，給我們的社會還有家庭造成了巨大的負擔。 所以我們就想著對于這些患者，一類是漸凍癥的患者，還有一類未來因為腦卒中或者腦腫瘤、腦外傷引起的語言功能障礙患者，是不是能夠通過語言腦機接口的形式，實現患者語音的直接合成，這樣的話能夠極大的提高患者的交流效率。
2、語言腦機接口框架
語言腦機接口實現語音直接合成主要是基于以下的步驟和框架。我們希望首先能夠記錄到大腦在想象或者默念時的大腦神經活動。 對于語言功能障礙患者，我們希望能夠記錄到他在表達意圖時，語言區的神經活動。之后建立這些語言神經活動，語言內容與神經電活動之間的對應關系， 進而解碼我們大腦的神經活動，從而合成語音。
要想實現這樣的一個語言腦機接口，其實有三個重要的環節。
第一個，我們希望能夠記錄到我們大腦非常準確的神經活動。 那么就需要有一個高精度的大腦活動記錄技術平臺。這樣的記錄技術需要有高的空間分辨率，高的時間分辨率。 因為我們的語言表達速度非常快，像我現在，正常的語言交流速率，在150個字到200個字每分鐘。
第二個實現的重要環節就是我們希望能搞清楚我們大腦語言活動在大腦到底是怎么編碼的，它的神經編碼機制是什么？ 就是我們在說的過程當中，在想的過程當中，它對應的大腦的編碼的腦區在哪里？ 它編碼上存在什么機制？ 這是腦機接口一個非常重要的環節。
第三個就需要建立從大腦活動到語音合成之間建立一個解碼技術方法。
3、國際語言腦機接口研究進展
2013年，Nature上一篇文章首先揭示了言語過程中感覺運動皮質協調嘴唇、舌頭、下頜、喉部等構音器官運動的時空編制、
2018年，Cell上一篇文章揭示喉部運動皮質如何在言語/歌唱過程中編碼音高的變化。
2019年，Nature上一篇文章首先報道了利用高密度ECoG實現了英語的皮質腦電-語音合成。
2021，2022年，在NEJM、Nature Communication上，又被報道首次從癱瘓、部分發音的患者大腦活動中直接解碼出完整的句子。
最新的2023年，他們又在另外一例腦干中風的患者身上植入一個電極，實現了實時語言的解碼。 這時他們的詞匯量擴大到了1024個單詞。 中位詞誤率在25.5%，在線的合成速度達到了78個單詞/分。 同時采用了虛擬化身的技術，來模仿患者受傷前的音色。
同期還發表的還有來自于斯坦福的Krishna和Jaimie團隊。他們通過植入4個Utah array來解碼語音，詞匯量擴大到125000個單詞，一個非常大的進步了；詞誤率也是在23.8%，在線合成速度達到了62單詞/分。
4、漢語的腦機接口合成
這些以往研究工作主要是處理英文這種語言，那么漢語作為世界上使用人口最多的語言該怎么利用腦機接口合成呢？我們知道漢語有一個非常重要的特色就是聲調，可以通過四個不同的聲調來表達不同的語義。此外漢語還是單音節的字，我們通過單音節字加上四個聲調，可以極大的提高我們表達的效率。
那么我們漢語的聲調是如何產生和編碼的呢？ 聲調產生有這樣一個生理學基礎，它是通過控制我們的聲帶來產生的。 產生聲調時，我們的聲帶首先需要閉合，聲帶閉合后，氣流通過肺沖出我們的聲帶之后去進行發聲。 如果需要讓我們的聲音升高，聲帶就需要拉長，同樣的縮短就可以使我們的聲調降低。
既往的研究發現，大腦里面確實存在這樣的功能區。在英語的研究當中發現，我們大腦里面有背側的喉部運動區和腹側的喉部運動區兩個腦區。 那么我們大腦的喉部運動區是如何精準控制我們的聲帶肌肉，調節音高的變化，進而產生了我們漢語的四個聲調？
所以我們就有了以下三個科學問題：
第一個，在聲調產生的時候，大腦編碼了什么聲學或者語音特征？
第二個，產生音調的時候存在幾種控制機制，單向的音高變化？還是雙向的升高和降低？還是四個聲調單獨產生？
第三個，聲調產生的編碼腦區在哪里？
以上為本期直播部分內容，觀看本期及往期完整視頻內容可掃描下方二維碼觀看。
掃描二維碼
觀看完整視頻
END
往期精彩節選
