撰文 | Qi
全球有數(shù)百萬人因中風、肌萎縮側索硬化癥（ALS）等神經系統(tǒng)疾病導致言語功能喪失（即“構音障礙”或“失語癥”）。傳統(tǒng)輔助溝通設備（如眼動儀或鍵盤）速度緩慢，且無法還原自然對話的即時性和情感表達?，F(xiàn)有腦機接口（BCI）需等待用戶“默念”完整句子后才能解碼，存在延遲問題，且癱瘓患者無法發(fā)聲，難以提供傳統(tǒng)模型所需的語音數(shù)據(jù)，此外，現(xiàn)有設備無法重現(xiàn)使用者原有的聲音特征，取而代之的是機械合成音。過去十年，研究發(fā)現(xiàn)大腦感覺運動皮層在語音產生時會編碼豐富的發(fā)音動作信息（如唇、舌、喉的運動信號）。通過記錄這些神經活動，理論上可直接合成語音【1-4】。然而，如何實現(xiàn)“實時、低延遲、高準確率”的合成一直是未解難題。
近日，來自美國加州大學伯克利分校的Gopala K. Anumanchipalli團隊在Nature Neuroscience雜志上發(fā)表了一篇題為A streaming brain-to-voice neuroprosthesis to restore naturalistic communication的文章，他們在此報道了一款無聲腦機接口，通過植入大腦的高密度皮層電極（ECoG），實時解碼癱瘓患者的無聲發(fā)音意圖，以80毫秒為間隔連續(xù)合成語音（低延遲），能再生成用受試者受傷前說話片段訓練的模擬其聲音的音頻，并能實現(xiàn)連續(xù)運作。
參與者是一名47歲女性，因腦干中風導致全身癱瘓和構音障礙，僅能發(fā)出模糊單音，該團隊將腦機接口植入參與者大腦以覆蓋左半球言語感覺運動皮層（控制發(fā)音的關鍵腦區(qū)如中央前回和中央后回）。他們讓參與者默念屏幕上顯示的內容，采用RNN-T（循環(huán)神經網絡轉換器）模型，處理80 ms窗口的神經信號（高頻伽馬波+低頻信號），提取發(fā)音特征，將語音單元轉換為個性化聲音。該模型的創(chuàng)新點在于能用文本轉語音生成參考音頻，解決“無聲數(shù)據(jù)”難題，并能自動判斷用戶是否在“默念”，減少誤觸發(fā)。此外，還能實現(xiàn)長時解碼，連續(xù)5分鐘無間斷合成語音，對未訓練的詞匯分類準確率高達46%。
綜上，這項研究成果標志著腦機接口領域的重大飛躍，首次實現(xiàn)邊說邊合成，接近自然對話節(jié)奏，但當前詞匯量有限，長句錯誤率較高，需更大訓練數(shù)據(jù)，未來或結合無線植入設備，實現(xiàn)全天候使用。
https://doi.org/10.1038/s41593-025-01905-6
制版人：十一
參考文獻
1. Schoenenberg, K., Raake, A. & Koeppe, J. Why are you so slow?—misattribution of transmission delay to attributes of the conversation partner at the far-end. Int. J. Hum. Comput. Stud.72, 477–487 (2014).
2. Krauss, R. M. & Bricker, P. D. Efects of transmission delay and access delay on the eficiency of verbal communication.J. Acoust. Soc. Am.41, 286–292 (1967).
3. Brady, P. T. Efects of transmission delay on conversational behavior on echo-free telephone circuits.Bell Syst. Tech. J.50, 115–134 (1971).
4. Mermelstein, P. Articulatory model for the study of speech production.J. Acoust. Soc. Am.53, 1070–1082 (1973).
BioArt
Med
Plants
人才招聘
會議資訊
學術合作組織
（*排名不分先后）
戰(zhàn)略合作伙伴
（*排名不分先后）
轉載須知
【原創(chuàng)文章】BioArtMED原創(chuàng)文章，歡迎個人轉發(fā)分享，未經允許禁止轉載，所刊登的所有作品的著作權均為BioArtMED所擁有。BioArtMED保留所有法定權利，違者必究。
熱門跟貼