虚拟现实研究人员演示腕带传感器FingerTrak


【虚拟现实研究人员演示腕带传感器FingerTrak】
研究人员演示解决AR/VR手部动作交互新方案--腕带传感器FingerTrak
据最新外媒报道 , 康奈尔大学和威斯康星大学麦迪逊分校的工程师们已经开发出一种新的可穿戴交互系统 , 利用热传感器准确预测手部位置 , 在VR、机器人和翻译手语方面有潜在应用 。
如何捕捉人类手部动作的复杂性以及手部传感器的研究在AR / VR技术领域一直是一项艰巨的任务 。
近期 , 相关研究人员演示了解决AR/VR手部动作交互新方案--腕带传感器FingerTrak 。 FingerTrak基本上是一个手镯 , 上面装饰着四个小型热敏摄像头 , 每个摄像头大约有豌豆大小 。 摄像头从各自的位置拍摄佩戴者手腕的轮廓图像 。 这足以让一个专门设计的算法精确重建整个手部 , 包括每个手指的位置 。
FingerTrak 系统使用机器学习 , 根据手腕轮廓 , 预测 20 个手指关节的位置 。 然后 , 这些手的姿势可以在虚拟模型 , 甚至是机器人的手上重现 。 在测试中 , 该设备能够准确重现翻书 、用笔写字、喝水、使用手机等动作 。
目前不乏有一些设备使用各种技术尝试追踪手部动作 , 有的使用深度感应摄像头或红外传感器观察手指 , 有的使用动作感应手套 , 还有的在指尖上使用电磁传感器 。 但几乎所有的都有点过于笨重 , 不适合实际使用 。 FingerTrak 的设计更加轻巧 , 虽然它仍然不是看起来最舒适的科技产品 , 但它确实走在正确的未来轨道上 。
尽管目前FingerTrak的技术研究还有待开发 , 但其未来潜力巨大 , 可实现包括人机交互与控制、手语翻译和健康监控的潜在应用 , 甚至包括发现早期的帕金森氏症和阿尔茨海默氏症等退化性疾病 。
康奈尔大学和威斯康星大学麦迪逊分校的相关研究团队表示 , 在未来的技术完善后 , FingerTrak系统可以让虚拟现实玩家在游戏中追踪自己的手部动作 , 可以让遥控机器人直接模仿人类操作员的动作 , 可以帮助将手语翻译成文字或语音 , 甚至可以帮助监测影响运动技能的健康问题 。
FingerTrakFingerTrak的原型机非常小 , 随着进一步的工程设计 , 未来它可以进一步缩小 。 FingerTrak主要依靠低分辨率(32×24像素)、比最薄的苹果手表还要薄的热敏摄像头 , 在测试期间实现了在6.46到8.06度之间的平均角度误差率 。
目前尚不清楚FingerTrak系统是否能够快速追踪特定的手势 , 比如一个人正在写什么 。 换句话说 , FingerTrak可能会成为最好的补充性技术 , 而不是完全取代更高精度的手指追踪解决方案 , 至少对目前的一些应用而言如此 。
VR与电竞相结合 , 将帮助训练出下一代足球巨星
最新消息 , 美国青年电子竞技足球合作社(AYCE) , 已经开始致力于将顶尖VR技术与电子竞技训练相结合 , 实现在数字虚拟环境中训练运动员 。
自从VR技术开始被运用到身临其境的虚拟训练模式中 , 业余和职业的相关培训学校已经开始将VR模拟和电子竞技模式相结合 , 纳入他们的日常训练中 。
AYCE目前已经实现让印第安纳州足球队(Indiana Soccer)与总部位于英格兰曼彻斯特的VR公司Rezzil建立合作伙伴关系 , 为球员提供电竞虚拟训练平台 , 以帮助球员在未来成为优秀的足球运动员 。
虚拟现实研究人员演示腕带传感器FingerTrak
本文插图
借助分析平台GYO Score和Rezzil的VR应用工具 , 可以通过跟踪系统中数以万计的运动数据点 , 在运动员进行野外或体育馆训练时为运动员提供深入的分析评估 , 包括运动员的技能水平、健康状况和对自我训练的整体认知能力 。
通过Rezzil的VR训练平台 , 运动员可以像在真实的足球场上一样 , 移动身体去踢虚拟场景中的足球 , 而系统可以通过连接腿部和脚部的Vive传感器来跟踪运动员的动作 。 当运动员练习时 , 虚拟训练平台可以像真实的足球教练一样指导他们练习足球技术 , 不仅增强了常规训练的经验 , 还可以改善比赛过程中的裁判决策 , 可以实现和对手的虚拟训练而没有身体接触的安全零风险 。


推荐阅读