在2019年初，一组美国神经工程师的研究成果显示，有一种计算机算法可以解码从人类听觉皮层记录下来的信号，并将其转换成可理解的语言。

而近日， Nature杂志发表了一项新成果， 神经科学家设计了一种可以将大脑信号转换为语音的设备。通过最先进的脑机界面，根据大脑活动控制的虚拟声道来产生自然合成的合成语音。

与之前相比较，有所不同的是，这是人类历史上第一次，直接从大脑中输出完整的口语句子。

换言之，就是通过解码人类嘴唇、下巴、舌头和喉头等脑信号，将其转换成患者想表达的语音。

“这是第一次，我们可以根据个人的大脑活动生成完整的口语句子。” 加州大学旧金山分校神经外科教授，也是该成果的主要研究员Edward Chang说。

在我们的生活中，由于各类事故、中风或神经退行性疾病（如肌萎缩侧索硬化症或肌萎缩侧索硬化症）中受伤而导致言语能力丧失的语言障碍者广泛存在，成千上万的人无法进行正常的交流。

利用外部设备生成辅助语音输出早已有之。例如霍金使用的语音合成器，主要是通过人类眼睛和面部动作来拼写单词，理想的情况下，能帮助患者每分钟输出8个单词。

在 Nature 的这项最新研究中，研究人员设计了一种神经解码器，准确地利用人类皮层活动中编码的运动学和声音表征来合成语音。这种合成语音，要达到可理解，并且是以流利说话者的速度输出。

图 | 用于语音合成的脑机接口（来源：Nature）

以前的语音合成研究采用了上图 a 的方法，而 Edward Chang 以及同事开发了一种不同的方法（上图 b），将解码分为两个步骤。

第一步，将神经信号转换成声道咬合部位的运动（红色），这其中涉及语音产生的解剖结构（嘴唇、舌头、喉和下颌）。而为了实现神经信号到声道咬合部位运动的转化，就需要大量声道运动与其神经活动相关联的数据。但研究人员又难以直接测量每个人的声道运动，因此他们建立了一个循环神经网络，根据以前收集的大量声道运动和语音记录数据库来建立关联。

第二步，将声道咬合部位的运动转换成合成语音

图 | 神经解码语音合成过程（来源：Nature）

研究人员的这种两步解码方法，得到的结果就是产生的语音失真率明显小于使用直接解码方法所获得的语音。在包含 101 个句子的试验中，听者可以轻松地识别并记录下合成的语音。

但 Edward Chang 表示，虽然语音解码的准确性大大降低，但受试者在没有声音的情况下模仿发音仍然可以进行语音合成。至于那些不再产生语音相关运动的个体是否适用这套最新的语音合成脑机接口系统，还需要未来的进一步研究。

Chethan Pandarinath 和 Yahia Ali 认为，无论是在语音重建的准确性方面，还是在听众对所产生语句的辨识力方面，Edward Chang 及其同事的研究结果都为语音合成脑机接口的概念验证提供了令人信服的证据。

（来源：麻省理工科技评论）

不过，要使该系统真正成为一个临床可行的语音合成脑机接口，还存在许多挑战。近十年来，随着深度学习和人工神经网络的出现，以及多学科协作的能力，从探索语言相关大脑区域的开创性临床研究，到语音合成脑机接口的概念证明，都取得了引人注目的快速发展。

随着语音合成脑机接口的概念证明，我们期待有关临床试验的早日开展，也期待那些语言障碍患者能够早日重获自由说话并与世界重新联系的能力。