语言是人类最为复杂的认知功能之一 ， 也是人类作为高级生物的决定性特质之一 。 不同语言之间具有极大的多样性 。
据估计 ， 全世界现存大约7000种语言， 它们使用同一套发声系统（咽喉 ， 声带 ， 口腔 ， 唇齿颚舌 ， 等等） ， 产生相似的声音要素 ， 传达各自独有的语义 。 这就产生了一个关于人类语言特异性的根本问题：不同的人类语言是如何既共享同样的生理基础又各自拥有高度的特异性？
文章插图
跨语言比较的实验范式示意图
2021年2月19日 ， 复旦大学附属华山医院神经外科吴劲松教授团队和加州大学旧金山分校华裔科学家张复伦（Edward Chang）院士团队的科学家们进行了一项跨语言的比较研究 ， 最新成果以“人脑皮层在声调语言和非声调语言中的音高编码机制”（Human cortical encoding of pitch in tonal and non-tonal languages）为题在《自然-通讯》（Nature Communications）上在线发表 。
2020年10月19日 ， 美国国家医学科学院（NAM）宣布增选100位院士 ， 著名的神经科学家Edward Chang教授入选 。 前文回顾：Edward Chang当选院士：系统回顾破解人脑皮质中语音的功能蓝图
在这个项目中 ， 两个团队的神经外科医生们各自利用颅内高密度皮层脑电技术(high-density ECoG) ， 分别记录和分析了汉语母语者和英语母语者在聆听汉语和英语时的大脑皮层神经电生理活动 。 他们探索了音高（pitch）和声调（tone）这两个重要的语音元素在两类截然不同的语言群体中的神经表征机制 ， 以及个体语言背景的差异对神经表征的影响 。
在自然语言中 ， 音高是极为重要的要素之一 。 在说话或者唱歌时 ， 人类通过挤压肺部呼出空气 ， 空气流过声带产生振动从而发出声音 ， 同时我们通过控制喉部的肌群调节声带(vocal folds)的振动频率从而控制音高的高低变化 。 在不同的语言中 ， 音高可以表达丰富的语义(lexical) 和语调(intonation) 信息 。 依据音高是否表达语义信息 ， 可以将语言划分为声调语言(tonal language) 和非声调语言(non-tonal language) 。
在声调语言中 ， 仅仅改变单词的音高可以完全改变词义 ， 例如 /fu1/ (夫)和 /fu2/ (福)是音节相同但是语义完全不同的两个词 。 而非声调语言中 ， 音高的起伏变化主要用来表达情绪 ， 态度 ， 陈述以及疑问等等语调信息而并不直接改变词义 。 据估计 ， 在现存的7000种语言中 ， 有一半以上的语言是声调语言 ， 全球一半以上的人口使用声调语言。 其中 ， 汉语普通话就是使用人口最多的声调语言 。 而英语则是使用人口最多的非声调语言之一 。
众所周知 ， 汉语普通话有四个声调 ， 它们分别有各自特有的音高轮廓曲线 。 然而在自然言语状态下 ， 受到不同的说话者本身的固有基础频率(女性的音高一般在160-300Hz ， 比男性的60-180Hz高一倍左右) ， 以及前后语境、情绪、句子短语结构等因素的影响 ， 实际的音高轮廓曲线会与理想情况呈现较大的偏差 ， 可能出现男性语者的高音高频率(第一声、第二声尾部与第四声头部)低于女性语者的低音高频率(第三声、第二声头部与第四声尾部) ， 以及句尾的第一声(阴平)绝对频率低于句首的第三声(上声)的情况 。 这就要求在自然言语的条件下 ， 聆听者必须能够有效且稳健地从声学线索中提取出准确的声调信息 。
文章插图
自然语言状态下的声调轮廓偏差示例：T1-相对较高的第一声(阴平) ， T1L-相对较低的第一声(阴平) ， T3-相对较低的第三声(上声) 。 在声学空间中 ， T1L与T3更为相似 ， 而T1与T1L差异较大 。
行为学实验表明 ， 声调语言母语者依靠语者标准化的相对音高高度以及轮廓(speaker-normalized relative pitch contour)来判别声调信息 。 而本文作者通过神经编码(neural encoding model)的方法确认了这一心理语言学现象的神经机制 ， 即位于颞上回(superior temporal gyrus)言语听觉皮层的局部神经活动直接编码表达了语者标准化后的相对音高高度以及音高变化速率 ， 而相反 ， 这些局部的神经活动并不反应语者的绝对音高(absolute pitch)或者抽象的声调类别(tone category) 。
进一步的跨语言比较分析表明 ， 这一局部神经编码机制是跨语言相通的：当同一个聆听者听到汉语以及英语语音时 ， 汉语中语义相关的声调变化以及英语中的非语义语调变化采用相同的颞上回局部编码机制 。
文章插图
颞上回局部单电极神经活动编码了相对音高高度以及音高变化速率 ， 而非绝对音高或声调类别 。(上)颅内高密度电极以及颞上回语言区; (下)平均神经响应信号以及不同编码模型的预测值 。
当同一聆听者听到不同语言时 ， 颞上回的局部神经编码机制是跨语言相通的：汉语中语义相关的声调变化以及英语中的非语义语调变化触发相同的颞上回局部编码机制 。
另一方面 ， 行为学文献表明 ， 由于语言背景的不同 ， 声调语言的母语者在听到不同声调时会进行分类感知(categorical perception)， 即将在声音空间内线性变化的声调信号 ， 在感知空间中非线性地映射到离散的声调类别中 。 而非声调语言母语者则会倾向于真实地感知连续变化的声调信号 。 为此 ， 本文作者同样进行了对应神经机制的跨语言比较分析 ， 结果表明对于同样的中文语音 ， 汉语母语者的颞上回群体状态空间呈现分类感知的表达结构 ， 而英语母语者的颞上回群体状态空间则更为接近于表达原始的声学空间 。
文章插图
群体编码性质统计以及状态空间分析表明 ， 汉语母语者颞上回神经群体活动体现较强的声调分类以及类别结构表征的特性 ， 英语母语者则与原始声音空间更为接近
由此 ， 作者们揭示了音高在声调语言和非声调语言中采用相同的神经编码机制 ， 并证明了这种编码机制会受到不同语言背景的影响 。
该研究通过高时空分辨率的颅内脑电技术提出了神经语言模型的全新视角 ， 即作为声学语言中枢之一的颞上回既参与了相对音高这一复杂声学特征的编码表征 ， 也参与了声调这一语义相关的高级信息的处理和表征 ， 而这两种不同级别的信息分别反映在同一皮层区域的局部和整体神经活动中 。
文章插图
(左)汉语和英文自然语句示例；(右)汉语和英语母语者颞上回听觉皮层的局部和群体神经活动分别编码不同层级的声学和语义特征信息
加州大学旧金山分校华裔科学家、神经外科主任张复伦(Edward Chang)院士和复旦大学附属华山医院吴劲松教授为本文的共同通讯作者 ， UCSF李远宁博士 ， Claire Tang博士以及复旦大学附属华山医院神经外科主治医师路俊锋博士为本文的共同第一作者 。 本研究得到UCSF神经外科前主任Mitchel Berger教授以及复旦大学附属华山医院周良辅院士的直接指导和毛颖院长的大力支持 。 研究团队还得到深圳市神经科学研究院谭力海教授、香港大学Shelley Tong教授等的支持和帮助 。 本项目受到上海市“脑与类脑智能”市级重大科技专项以及上海申康医院发展中心等项目的资助 。
参考文献
【编码|脑机接口大牛最新研究揭示人类大脑跨语言声调编码机制】Li, Y., Tang, C., Lu, J. et al. Human cortical encoding of pitch in tonal and non-tonal languages. Nat Commun 12, 1161 (2021).
推荐阅读
- 开颅|脑科学日报：脑机AR头显即将面世：不用开颅，也能意念操控？
- 脑机接口|人造心脏商用，脑机接口植入大脑，人类离永生不死还有多远？
- 脑机接口|插口人生：脑机时代已来？
- 驱动之家|兼容USB4？十一代酷睿接口圆满了：绝配Thunderbolt 4
- 靠脑机接口“隔空探物”，大脑植入芯片可实现“心灵感应”
- 腾讯科学WE大会|疫情下人类实现多项突破 腾讯科学WE大会揭秘粒子物理、器官复刻和脑机接口等最新发现
- 马斯克|脑机接口专家怼马斯克：所谓“心灵感应”没有任何科学依据
- 量子|腾讯科学WE大会揭开未来面纱：金星上或有生命、用电子皮肤相互交流、脑机接口如何用意念开
- 电子商务|向马斯克开炮！脑机接口权威：他说的话我一个字也不同意
- 英特尔|英特尔推出锐炬Xe MAX独立显卡 可提升AI及视频编码速度