最后我再介绍一下我们近期开展的基于序列到序列模型框架的非平行语音转换方法的研究工作 。 虽然前面介绍的VCC2018方法可以取得较好的非平行语音转换效果 ， 但是其仍存在一些不足 。 例如 ， 基于语音识别器提取的文本内容表征中难以保证不含有说话人相关信息、语音识别模型和转换生成模型没有联合训练、仍采用帧到帧映射的模型框架等 。
因此 ， 我们提出了一种基于表征解耦的序列到序列非平行语音转换方法 。 该方法在序列到序列建模框架下 ， 可以实现对于语音中文本相关内容和话者相关内容的有效分离 。 其核心思想如图所示 。 在训练阶段 ， 利用识别编码器和话者编码器分别提取语音中的文本和话者相关表征 。 同时我们通过训练准则的设计保证这两种表征相互独立 ， 不会纠缠 。 在训练过程中 ， 我们也会利用语音对应的转写文本 。 从转写文本中提取的信息可以为从语音中提取文本表征提供有效参考 。 在合成阶段 ， 通过组合从源说话人语音中提取的文本表征 ， 以及目标说话人的话者表征 ， 可以实现从源说话人语音到目标说话人语音的转换 。
推荐阅读
-
《骄阳伴我》首播，肖战表现惊艳，这次，央视好像又淘到宝了
-
-
-
华夏航空预计上半年净利下降超九成，6月航班量正增长
-
当官|鲁迅的后人现状如何？儿子当官，孙子是我们熟悉的大明星！
-
「人民网」商务部：打通运输“大动脉” 畅通物流“微循环”
-
海清|心疼！海清自曝骨囊肿，不能站立半夜疼醒，16岁儿子懂事背妈妈
-
烹饪|三伏天，遇到此菜别手软，钙是鸡肉7倍，现在正当季，蒸包子真香
-
-
Ts娱乐圈|希望她的团队能清醒一点吧，太急功近利了，张艺凡热搜不断
-
广东男篮@48分惨案！广东残暴继续：全队33助攻+外援仅6分钟，送钟南山大礼
-
科学家@地底新发现，4000米深处发现“类人类”生物！或许威胁了人生生存？
-
深港科技说 堪称经典中的经典，致敬时代？他们都说这款iPhone
-
-
现代快报|九月英仙座ε流星雨9日迎来极大，月光或影响观测
-
-
『皇家马德里』巨资加神锋！昔日宝贝成添头，皇马锁定新巨星
-
-
怎样评价马克西姆的新专辑《mezzo e mezzo》
-
小熊科技|体积小，功能全！摩米士MOMAX氮化镓GaN快充充电器体验
