AMiner学术头条▲大脑所想直接合成文本或语音，华裔教授AI解码脑电波( 二 )
此外 ， 对于由肌萎缩性侧索硬化或脑干中风引起的瘫痪患者 ， 通过直接记录来自大脑皮层的神经控制信号来合成语音 ， 是实现自然语言高通信速率的唯一手段 ， 也是最直观的方法 。
去年4月 ， EdwardChang等人还在Nature杂志发表了开发出一种可以将脑活动转化为语音的解码器 。 这套人类语音合成系统 ， 通过解码与人类下颌、喉头、嘴唇和舌头动作相关的脑信号 ， 并合成出受试者想要表达的语音 。
文章图片
EdwardChang教授
为了重建语音 ， 研究人员设计了一种循环神经网络（RNN） ， 首先将记录的皮质神经信号转化为声道咬合关节运动 ， 然后将这些解码的运动转化为口语句子 。
整个过程分为两个步骤 ， 第一步 ， 将神经信号转换成声道咬合部位的运动（红色） ， 这其中涉及语音产生的解剖结构（嘴唇、舌头、喉和下颌） 。 而为了实现神经信号到声道咬合部位运动的转化 ， 就需要大量声道运动与其神经活动相关联的数据 。 但研究人员又难以直接测量每个人的声道运动 ， 因此他们建立了一个循环神经网络 ， 根据以前收集的大量声道运动和语音记录数据库来建立关联 。 第二步 ， 将声道咬合部位的运动转换成合成语音 。
研究人员的这种两步解码方法 ， 产生的语音失真率明显小于使用直接解码方法所获得的语音 。 在包含101个句子的试验中 ， 听者可以轻松地识别并记录下合成的语音 。
在科幻世界里 ， 通过意念信号控制外界设备十分酷炫 ， 实际上 ， 在现实世界中 ， 其背后的脑机接口技术已有近百年的历史 。
文章图片
随着脑机接口领域科学研究与应用技术的不断突破 ， 尤其是AI算法的加持 ， 为许多当前仍无法解答的难题提供更好了的探索工具 ， 不仅能够帮助人类进一步了解自己的大脑 ， 更重要的是为诊断、治疗脑部及其它严重疾病提供了解决方案 ， 甚至广泛应用于睡眠管理、智能生活和残疾人康复等领域 。
推荐阅读
- 「北京头条客户端」科技部：将加大对前沿技术研发的攻关和支持力度
- 「汽车头条APP」罗永浩直播首秀真该去卖车
- #浦江头条#“大龄书僮”们还好吗？，网课一月间孩子手机平板电脑敞开用
- 浦江头条@疫情防控新闻发布会｜上海检察机关已批捕涉疫刑案64人
- 文农旅头条：景区运营之战“疫”急救：疫情后景区逆袭该如何发力？
- 濮阳头条▲驾驶者坐在马路中间…，闯红灯！濮阳一电动车的车轮都撞没了
- 「九个头条网」又一行业被“相中”？已经有人，年赚上亿元，马云为其“造势”
- 『广西文化和旅游厅TB』| 广西文旅行业复工复产出新招： 培训+观摩+直播，头条
- #国创上头条#短视频能为教育行业创造什么价值？
- 『云头条』开源、云、AI…前沿科技应用仍有更多想象空间