背景|苹果新专利曝光!苹果眼镜或将引入类似于Zoom的背景替换技术
财联社(上海 ,编辑 黄君芝)讯 , 苹果一直在研究如何让类似苹果眼镜(Apple Glass)这样的头戴式显示器(头显)进行背景实时替换 , 或者用苹果AR图像来替换纯色背景 。
据专注于深入研究苹果公司的美国科技新闻网站AppleInsider报道 ,苹果于今年2月向美国专利和商标局(简称USPTO)提交了一项名为“用于混合现实的低延迟色度键控嵌入头戴式显示器”(Low latency chroma keying embedded in a head-mounted display for mixed reality)的新专利 , 不过本周这项专利才被披露出来 。
图片
自2月份以来 , 新冠病毒全球四处蔓延 , 人们被迫“宅家工作” , 视频会议软件逐渐崛起 。 人们喜欢用其他图像 , 如徽标或海滩场景来取代办公室和家庭的背景 。 但这些东西很少能很好地发挥作用 , 特别是当发言人在移动时 , 效果会更差 。 然而 , 即使这么做并不是很有效 , 这种背景替换仍需要大量的数据处理能力 。
在2020年7月的更新之前 , 微软Skype iOS版本甚至不能像Mac或PC版本那样模糊背景 。 这种模糊是一个复杂的过程 , 其中一部分涉及确定一个人的头部位置和背景开始的位置 。 色度键(Chroma key)让这一过程变得非常简单 , 因为人物被放置在一个单一的纯色背景前 。 这和电影中使用的绿屏或蓝屏过程是一样的 。
因此 , 当可以明显分辨出视频会议画面的哪一部分是说话的人 , 哪一部分是他们的背景时 , 像Zoom或Skype这样的系统就可以更容易地替换背景 。 不过那些都是2D系统 , 而苹果眼镜的目标是用3D的方式来实现 。 这样当戴眼镜者四处走动时 , 背景就可以被替换掉 , 而不是仅仅看着一个平面屏幕 。
图片
图片
因此 , 苹果的专利申请同时还涉及到为苹果AR制作3D立体版背景替换 , 以及尽力提高其工作速度 。 这部分与头显处理能力有关 , 但也与将数据返回用户视野的速度有关 。
苹果表示 , “我们需要的是一个可穿戴式沉浸式头显(HMD) , 利用嵌入式立体RGB摄像头捕捉环境 , 做实时的颜色键控 , 以及一个显示系统来显示增强了虚拟内容的真实世界图像 。 ”
“该系统以高帧率(通常为75帧/秒或更多)运行 , 通过捕捉图像并将其格式化以在头显本身中显示 , 它实现了小于一帧的延迟 。 ”该公司补充说 。
简单来说 , 苹果的想法就是 , 头显拥有相机传感器 , 在混合现实环境中执行Chroma key , 并且要在最小延迟情况下完成 。
苹果认为 , 低延迟是实现良好“沉浸感”的关键因素 。 低延迟是通过在头显本身嵌入处理来实现的 , 具体来说 , 就是将摄像头图像格式化 , 检测所选颜色范围 , 并与虚拟内容进行合成 。
图片
图片
不过 , 该专利申请并没有解决替换图像来自哪里的问题 , 也没有详细说明如何指示替换图像 。 在Zoom或Skype会议中 , 这将由演讲者自己进行选择 。 但该专利确实表明 , 其实际应用将包括游戏、视频和虚拟对象的使用 。
(责任编辑:张洋 HN080)
推荐阅读
- 5G|苹果12Max震撼来袭,A14仿生芯片依旧强悍,你会喜欢吗?
- 苹果|不知道该不该换苹果iPhone12?看完这个你就有答案了!
- 帐户|苹果发布声明:确定 Epic Games 开发账户被终止
- 苹果手机|5.4英寸的iPhone12很便宜,但它未必会成为香饽饽
- 智能穿戴|苹果手表6的发布日期、价格、屏幕和设计,你会买吗?
- 智能穿戴|网友总结的苹果智能手表应该改善的7个方面,不改善绝对不买
- 二三说电影|被称为“中国版苹果”,5G新机降价400元,可惜已经被遗忘
- |为解决Beats的品控问题,苹果决定掏出975万美元赔偿金
- 苹果手机|内媒iPhone 12 样板机到手4 个开箱重点速览
- 威锋网|苹果发布声明:确定 Epic Games 开发账户被终止