研究人員首次將腦信號直接翻譯成語音

在“科學報告”雜志上發(fā)表的一項突破性研究中，來自紐約哥倫比亞大學(CU)的工程師描述了一種能夠監(jiān)測人的大腦活動并將相關位翻譯成清晰，易于識別的語音的系統。

“我們的聲音有助于將我們與我們的朋友，家人和我們周圍的世界聯系起來，這就是為什么由于受傷或疾病而失去一個人聲音的力量是如此具有破壞性，”該論文的高級作者，校長Nima Mesgarani博士說。 CU的Mortimer B. Zuckermann Mind Brain Behavior Institute的研究員。

通過進一步的調整和更新，該系統 - 使用當前可用的語音合成器和人工智能構建 - 可能很快成為那些由于中風或肌萎縮側索硬化癥(ALS)等疾病而失去說話能力的人的生命線。

此外，轉換與聽說和產生的語音相關的大腦模式的能力對于從事腦 - 計算機接口(BCI)應用的研究人員來說非常有用。

在這項研究中，Nima Mesgarani及其同事招募了一組接受腦外科手術的癲癇患者，當研究小組測量他們的大腦活動時，他們被要求聽取不同人說的句子。

接下來，參與者聆聽講述0到9之間數字的人，同時記錄他們的大腦信號，然后將其輸入聲碼器 - 一種計算機算法，能夠在人們談話的錄音訓練后合成語音(相同的技術是由Amazon Echo和Apple Siri使用)。

經過一些清理后，多達75%的參與者成功識別出機器人發(fā)出的聲音，這超出了之前的嘗試范圍。

該團隊現在計劃使用更多強制性句子進行進一步的實驗，希望最終將該系統用作植入物的一部分，類似于癲癇患者所使用的系統，這將直接在語音中轉換思想。

“在這種情況下，如果穿著者認為'我需要一杯水'，我們的系統可以接受這種想法產生的大腦信號，并將它們變成合成的口頭語言，”Mesgarani博士說。“這將改變游戲規(guī)則。它會讓任何失去講話能力的人，無論是受傷還是疾病，都有可能重新接觸周圍的世界。“