|恢复沟通、重塑触觉、双向接口,脑机接口爆发可期


脑机接口旨在通过直接从大脑信号中实时解码用户意图来为辅助设备提供丰富、强大的命令信号 。 近年来 , 脑机接口技术的理论和实际应用的研究进展迅速 , 技术日趋成熟 , 其应用领域也在不断扩大 。 本文概述了2019—2020年脑机接口领域在硬件、算法、范式、应用等方面取得的重要研究进展和发生的热点事件 , 展望了未来脑机接口技术的发展趋势 。
脑机接口(brain-computer interface , BCI)技术通过检测用户意图直接控制外部设备 , 从而为恢复感觉和运动功能以及治疗神经系统疾病开启了一扇全新的大门 。
尽管侵入式和非侵入式脑机接口系统在可实现任务复杂性方面有所不同 , 但两类脑机接口都能成功展现出辅助恢复肢体功能的能力 , 包括独立行走、手的功能操作以及语言交流 。
近年来 , 脑机接口技术不断取得突破 , 也带动了产业界的进一步投入 。
例如 , Elon Musk的脑机接口技术公司Neuralink于2019年发布了脑机接口植入机器人 。
2019年 , Facebook斥资10亿美元收购脑机接口公司CTRL-labs 。
在2019亚洲消费电子展(CES Asia 2019)上 , 日产汽车展示了解读大脑信号的脑控车(Brain-to-Vehicle)技术 。
而在2020年5月 , 华米科技和中国科学技术大学先进技术研究院共同建立了“脑机智能联合实验室” , 展示了国内企业对这一技术的关注 。
接下来 , 本文将从应用系统实现、关键技术发展和未来发展趋势等方面回顾2019—2020年的脑机接口领域的前沿进展 。
◆ ◆ ◆应用系统实现:交流与控制
1、沟通交流
语音解码类脑机接口技术能够将神经活动直接转换为语音信号 , 它对由于神经功能障碍而无法正常交流的群体具有革命性的意义 。
2019年4月 , 加州大学旧金山分校的研究团队基于脑机接口技术设计了一种新型的神经解码器 , 该解码器能够通过提取大脑皮层活动对发声器官的运动情况来实现语音的合成(图1) 。
|恢复沟通、重塑触觉、双向接口,脑机接口爆发可期
本文插图

图1 通过皮层脑电合成语音
不仅如此 , 研究者进一步发现 , 即便是在受试者“默读” , 即在不发出声音的情况下读出句子时 , 这样的解码方法也能够实现语音的合成 , 表明该系统有望潜在应用于不能发出声音的人 。 这些研究成果展现出通过脑机接口技术帮助患者恢复口语交流能力的临床可行性 , 并发表在《Nature》上 。
随后的2019年7月 , 该研究团队在同样的实验系统上展示了基于高密度ECoG信号的模拟自然问答对话系统(图2) 。 利用在对话中记录下的脑信号 , 能够确定受试者何时在听、何时在说 , 并且能够预测所听或所说的是什么 。
|恢复沟通、重塑触觉、双向接口,脑机接口爆发可期
本文插图

图2 问(蓝)和答(红)过程的实时语音解码示意
由于特定的问题只可能对应特定的答案 , 所以在这一系统中 , 研究者根据解码后的问题来动态更新答案的先验概率 , 从而实现了更为准确的回答内容解码 。 该系统对于生成语音和感知语音的解码准确率分别高达61%和76% 。
这一成果阐明脑机接口技术可以在交互式对话环境中实时解码语音 , 对于无法交流的患者具有重要意义 。 该工作发表在《Nature Communications》上 。
2020年3月 , 加州大学旧金山分校的研究团队利用受试者朗读文本时收集的ECoG信号 , 成功训练了一个可以将ECoG信号端到端“翻译”为连续文字的深度循环神经网络模型(图3) 。
|恢复沟通、重塑触觉、双向接口,脑机接口爆发可期
本文插图

图3 将皮层脑电转录成文本
通过在侧裂周围区植入电极并采集ECoG信号 , 该研究可以实现对受试者当前朗读句子的识别 。 4位病人颅内脑电解读错误率最低可以达到3% 。 该研究成果发表在《Nature Neuroscience》上 。


推荐阅读