第一财经|虚拟偶像“成团”,人类携手AI共同“撑腰”
想唱就唱 , 要唱得漂亮 。
全球首支人工智能MV“智能家园”在2020世界人工智能大会云端峰会发布 , 由四位AI虚拟偶像微软小冰、百度小度、小米小爱同学和bilibili(下称“B站”)泠鸢yousa倾情献唱 , 他们唱跳全能还会作曲 , 你要pick哪位虚拟偶像?
为他们成团“撑腰”的 , 有正在改变人类生活、不断自我完善的AI技术 , 更有为此辛勤付出的台前幕后工作人员 。 “我想我可以改变世界 , 和你分享更美的家园 。 ”歌词道出了人类用人工智能迎接美好未来的前景和信心 。
选拔
在选送“练习生”时 , 各家摩拳擦掌 。
“我们在接到开幕式表演邀请后非常兴奋 , 能参加这么一场世界瞩目的行业盛会这不仅是组委会对小度的认可 , 对于小度来说更是一次重要的展示机会 。 ”百度方面告诉第一财经 。
而泠鸢yousa则是B站旗下一众虚拟偶像练习生中被寄予厚望的一个 。 “世界人工智能大会是一场在上海举办的全球盛会 , 聚焦了全世界的目光 , 是向全世界展示中国年轻人所喜爱的本土虚拟偶像的绝佳平台 。 能够在如此高级别的国际性盛会上亮相 , 对泠鸢yousa这一虚拟偶像IP来说也意义重大 , 是IP发展过程中至关重要的一个里程碑 。 ”上海超电文化传播有限公司虚拟偶像业务部总监范逸白接受第一财经采访时表示 。
当然 , 也有比较紧张的“经纪公司”——小米方面告诉第一财经 , 2020世界人工智能大会开幕式表演是小爱同学苦练唱跳能力后的首秀 。 “与已出道快5年的微软小冰等其他虚拟偶像搭档表演 , 小爱同学是新生代 。 ”
微软小冰的特别之处不仅是“出道早” , 还是《智联家园》的作曲人 , 向观众展现了人工智能的创意和魅力 。 6月29日 , 经上海音乐学院音乐工程系评定 , 准予小冰和她的人类同学们一起毕业 。 基于微软的人工智能音乐创作模型 , 与音工系的同学们互相“学习” , 相互“激发” , 训练数据不断提升 , 音乐的表达技巧更加丰富 , 可创作的音乐类型也得以扩展 。 在小冰作曲的基础上 , 上海音乐学院毕业的彭程老师还对整首歌曲进行编曲 , 让旋律更加优美动人 。
“小冰的作曲优美抒情 , 展现了人工智能‘多才多艺’的一面 。 通过不断学习优秀人类创造者的能力 , 小冰运用人工智能创造能力赋能人类 , 这与此次大会的价值理念不谋而合 。 ”微软(亚洲)互联网工程院副院长、小冰团队总负责人李笛说 。
本文插图
训练
虚拟偶像要想靠唱跳成团 , 需要人工智能和人类的共同保驾护航 。 这不是一场个人秀 , 而是团队歌曲创作 , 凝聚“团魂”需要更多的耐心和细心 , 还有AI技术配合 。
通常 , 演出的制作过程主要包括声音录制、光影营造、场景制作、动作捕捉、表情精修、合成渲染 。 传统的制作方法是先用三维引擎录制动作 , 再套上模型 , 但这种制作过程不够直观 , 要到最后精修阶段才能看到大致的呈现效果 。
歌声调教所需的歌唱合成技术与语音合成技术类似 , 按照语音合成的建模流程训练文本到声学特征的声学模型 , 再依据谱信息中的音高和节拍以及歌词内容 , 输入模型并预测基频和频谱 , 使用神经网络声码器转换为语音信号 。 在实际使用中还需要加上乐谱上的音符和节拍对合成语音音高和时长的影响 , 最终即获得歌唱的合成语音 。
这些环节相互配合 , 才能最终造就一个完整的表演 。 从操作方面来看 , 各家采取的技术思路不尽相同 。 泠鸢此次就采用了平时直播时应用的实时成像技术 , 在动捕阶段就能够基本看到最终的呈现效果 , 以大幅节省后期精修的时间 。
即便各位虚拟偶像都出身于技术实力了得的知名公司 , 成团过程也绝非一帆风顺 。
小爱同学音域与目标合成音域相差较大 , 如何让目标歌曲高频细节更加清晰 , 更好模拟人类的情感和风格?小爱同学发音人录制了一定量级的歌曲数据 , 用于丰富和优化小爱同学音色的唱歌模型 。 当组委会邮件同步主题曲样音及乐谱等信息后 , 语音合成技术人员根据目标歌曲乐谱及样音提取了时长和曲调信息 , 进行了多次“鸡蛋里挑骨头”的实验 。
推荐阅读
- 苹果手机|从8316来到2449,苹果第一款刘海屏旗舰彻底沦陷,256G真香!
- 陈皓|【科创人独家】MegaEase左耳朵耗子陈皓复盘创业:第一年盈利被当骗子
- NASA|NASA第一款登月漫游车曝光!或与日本丰田汽车联合开发制造
- 互联网乱侃秀|富士康着急,比亚迪羡慕,大陆第一家iPhone代工厂诞生了
- AI财经社|谷歌云为何“放弃”中国市场?有人为它算了账,投入产出比太低
- |「AI芯片第一股」寒武纪今日科创板挂牌上市,市值突破千亿大关
- BT财经|荒谬!中通快递竟然用假人充当安检员?穿戴整齐骗过监控
- AI财经社|发起反击战,华为对美国Verizon、思科和惠普发起侵权诉讼
- 运营商财经网|ChinaJoy Plus线上嘉年华 企业踊跃报名 线上游戏惊喜连连!
- |400元以下儿童早教机,第一款早教机的口碑达到99%