江苏龙网

  1. 首页 > 人文 > >

映维网|FRLR 分享沉浸式音频新进展，挑战极致还原真实音效，Facebook

查看引用/信息源请点击：roadtovr
理解用户聆听声音的独特生理方式 。
（映维网2020年08月05日）FacebookRealityLabsResearch(FRLR)日前分享了最新的音频计划 。 他们的目标是将相关技术应用到AR头显中 ， 并允许你在嘈杂的环境中轻松地隔离人声 ， 同时再现虚拟声音 ， 使其看起来像是来自周围的真实世界 。 其中 ， 一个定制的头相关传输函数（HRTF）是提供这种体验的关键 ， 但涉及过程耗时且昂贵 。 所以 ， FRLR团队正在研究一种能够根据耳朵照片生成精确HRTF的可扩展解决方案 。
映维网|FRLR 分享沉浸式音频新进展，挑战极致还原真实音效，Facebook
文章图片
FacebookRealityLabs（FRL）现在是Facebook旗下所有VR/AR团队的统一名称 ， 并旨在开发下一代的沉浸式技术（包括Oculus头显） 。 FacebookRealityLabsResearch（FRLR）则是这一事业群下属的研发部门 。
日前 ， FRLR分享了关于沉浸式音频研究计划的最新进展 ， 并表示这项研究"与Facebook实现AR眼镜的工作直接相关" ， 但其中的部分内容同样适用于VR 。
1.空间音频
团队的目标之一是 ， 再现一种在感知方面与同一房间里的真实之物或真实之人的声音无法区分的虚拟音效 。
研究负责人菲利普·罗宾逊（PhilipRobinson）表示："想象一下 ， 如果你在打电话 ， 你会认为对方就在身边 ， 你会忘记你们实际上是相隔两地 。 这就是我们正在开发的技术的愿景 。 "
为了达到这个目标 ， 研究人员表示他们需要解决两个关键挑战：理解用户所处环境的独特听觉特征；理解用户聆听声音的独特生理方式 。
要理解房间的声学特性（声音如何回响） ， 这可以通过根据头显追踪传感器绘制的几何图形来估计房间的声音 。 结合人工智能能够估计房间内特定表面的声学特性 ， 这种关于真实声音如何在空间中传播的粗略图景可以用来提升虚拟声音的真实感 ， 令其听起来仿佛真的是来自同一个房间 。
Facebook的研究人员同时表示 ， 所述信息可以添加到LiveMaps中（Facebook为真实世界构建的增强现实副本） ， 并由同一空间中的其他设备调用 。 随着时间的推移 ， 声学估计可以通过众包数据得到改善 。
第二个主要挑战是理解用户聆听世界的独特方式 。 人类听觉是与头部和耳朵的形状息息相关 。 头部和耳朵的形状不仅会影响你所听到的声音 ， 它对你辨别周围声音来源同样十分重要 。 如果你借用别人的耳朵来生活一天 ， 你将非常难以确定声音到底是从何而来 。
对于声音如何与不同形状的耳朵相互作用 ， 学术界已经进行了充分的研究 ， 而这可以用一个名为头相关传输函数（HRTF）的紧凑数值函数进行表示 。 但要精确测量一个人的HRTF ， 我们需要专门的工具和一个漫长的校准过程 。 这就像眼科医生测试你的眼睛视力参数一样 ， 所以相关的解决方案难以扩展至每一个人 。
针对这种情况 ， FacebookRealityLabsResearch希望"开发一种可以根据（你的）耳朵照片这样简单的输入来近似出一个可行的个性化HRTF的算法" 。
为了展示团队在空间音频方面的研究进展 ， 他们制作了一款小型游戏 。 其中 ， 被试穿戴一副追踪耳机并站在一个房间中 ， 而里面散落着数个真正的扬声器 。 然后 ， 研究人员播放一个声音 ， 并要求被试判断声音是不是虚拟生成并通过耳机播放 ， 又或是通过真实扬声器播放 。 研究小组指出 ， 大多数被试的研究结果表明 ， 虚拟声音和真实声音几乎无法区分 。
2.情景感知型降噪
尽管"感知方面无法区分"的虚拟声音可能会令你觉得朋友或家人就在身边 ， 但FacebookRealityLabsResearch同时希望利用音频来增强真实的面对面交流 。
一个方法是创建情景感知的降噪技术 。 尽管今天降噪技术的目标是减少所有的外在声音 ， 但情景感知型的降噪技术旨在隔离你不希望听到的外界声音 ， 但保留你希望听到的声音 。


推荐阅读


上一篇：通天战队|别人偷动你手机，屏幕就会一戳一个洞，只有你可以打开，教你一招

下一篇：古风情感美文|数据中心制冷后浪催前浪，“不用电空调”钳温器VS“硅立方”,