现实版读心术？华裔科学家成功将脑电波翻译成语音

目前，有很多疾病会导致人不能说话，例如中风和肌萎缩侧索硬化（ALS）。当前用于模拟人说话的方法是非常低效的，例如通过拾取眼球运动的技术，患者可以逐字写出代表他们想法的文字。但这种方法大约每分钟只能拼写出10个单词，而普通发言者每分钟可以说出150个单词。

但是使用机器将大脑活动的脑电波转化为语言是很困难的，因为说话的行为是一个涉及嘴唇、下巴、舌头和声道的复杂物理过程。4月24日在《自然》杂志发表的一项研究在这方面实现了突破。

这项研究的作者之一爱德华·常（Edward Chang）博士评论道：“这项研究首次表明，我们可以根据个人的大脑脑电波的活动生成完整的口语句子。”

爱德华·常是一名华裔神经外科学教授，也是加州大学旧金山分校威尔神经科学研究所的成员。他继续说：“这是一个令人振奋的重大如破，即技术现有的技术已经可以实现多年来的梦想，根据这一技术我们应该能够制造出一种设备用于言语丧失的患者的临床治疗。”

该研究有五名患者参与了这项研究，他们正在加州大学旧金山分校癫痫中心进行外科手术。作为治疗的一部分，研究人员将电极插入他们的大脑。研究人员要求他们大声阅读几百个句子，而团队则记录了他们的大脑在说话时发挥作用的部分是如何反应的。

研究人员使用这些录音来追踪他们在说话时他们声道是如何运动的，并为每个人设计出一个虚拟的声道。使用机器学习算法，他们大脑的脑电波活动可以驱动虚拟声道发生，产生出类似于参与者本人发出的声音。

为了测试是否可以很容易地理解由虚拟声道发出的语音，研究人员找来1755名听众在16个“可懂度”任务进行测试，包括要求他们记录所听到的内容。测试结果表明平均每名听众准确地转录了43％的句子，并且平均每人能够理解说出的69％的单词。

语音科学家也该项研究合作者Gopala Anumanchipalli博士解释说：“声道运动与产生语音之间的关系是一个复杂的关系。我们推断如果大脑中的这些语音中心编码的是动作而不是声音，我们应该尝试在解码这些信号时做同样的事情。”

爱德华·常所在实验室的一名生物工程研究生乔希·夏蒂埃（Josh Chartier）承认：“我们仍然需要想办法完善对人类说话原理的模仿，我们现在的技术非常擅长合成较慢的语音，如‘sh’和‘z’，以及保持语音的节奏和语调以及说话者的性别和身份，但是一些爆破音，如‘b’和‘p’模仿声音就有点模糊。”

“尽管如此，与目前可用的方法相比，我们现在的技术用于实时的交流当中准确度水平也是的惊人改进。”接下来，科学家们想要设计一个不会说话的人可以使用的系统，难点在于无法进行虚拟语音的训练。

夏蒂埃继续说道：“那些无法移动手臂和腿的人已经学会用大脑控制机器人肢体。我们希望有一天，语言障碍的人能够学会用这种脑控制的人工声道再次说话。”

伦敦大学学院女王广场神经病学研究所（Queen Square Institute of Neurology）的认知神经学教授亚历山大·莱夫（Alexander Leff）告诉新闻周刊，两步解码器是这项研究的新颖部分。“这对于模仿人的口语很有效，但并不像人们希望的那样完美，”他说。

他强调说：“这在临床上使用还有很长的路要走，可能受益的患者是那些有闭锁综合征但认知正常（或接近正常）的患者，所以对于最常见的情况低限度意识状态来说，这种装置没有多大用处。”必须对该系统在处理隐蔽语音，解码语音的清晰度以及来自对更多大脑区域的记录等方面进行改进。

文章来源：编译自美国新闻周刊健康栏目 

编译：《中外医讯》Mark

版权说明：本文编译自美国新闻周刊健康栏目，版权归原平台或原作者所有。

【活动来啦】

“护理创新我有一套”第二季火热来袭！得益于国家卫生健康委医政医管局的指导，健康界搭平台征集全国护士的临床创新技能，推出有趣有料的“我有一套”展示活动。戳此即刻参加活动