映维网VRTB|开发者利用Oculus Quest手部追踪提供沉浸式手语学习


(映维网 2020年06月08日)Oculus Quest的手部和手指追踪开启了一系列的全新用例 , 而伯尔尼高等专业学院的学生塞德里克·吉拉丁(Cedric Girardin)则利用这项功能编程开发了一种用于学习手指字母的虚拟现实应用 。
手语是用手势比量动作 , 根据手势的变化模拟形象或者音节以构成的一定意思或词语 , 它是听力障碍或者无法言语的人互相交际和交流思想的一种重要手段 。
手语学习并不容易 , 而且不同地区的手语不一定通用 。 随着虚拟现实教育的兴起 , 伯尔尼高等专业学院的学生Cedric Girardin开始探索利用沉浸式技术来帮助德语用户学习手语的方式 , 并在Reddit介绍了他利用Quest的手指追踪功能而开发出的手指字母应用 。

映维网VRTB|开发者利用Oculus Quest手部追踪提供沉浸式手语学习
本文插图

所述应用程序提供了一种学习模式和测试模式 。 学习模式会显示德语字母表中的字母及相应手势的三维模型 。 利用Quest的手指追踪功能 , 你可以在虚拟现实中用自己的双手再现所描绘的图形 , 并通过机器验证进行匹配 。 测试模式的工作原理类似 , 但不显示三维模型 。
针对每一个手势 , 应用程序将验证手和手指的位置和方向 , 并计算各根手指彼此的距离和角度 。 另外 , 应用程序可以评估多达23个德国字母的手势(德语共有26个拉丁字母和4个字母变体) 。
【映维网VRTB|开发者利用Oculus Quest手部追踪提供沉浸式手语学习】字母R、J和Z暂不支持 , 原因是对应的手势过于复杂 , Quest的手部追踪暂时无法予以支持 。 另外 , 追踪功能依然难以识别背离摄像头的手势 。
需要注意的是 , 这只是吉拉丁用两周时间完成的一个期末作品 , 而现在项目时间已经结束 。 但根据需要 , 他表示可以进一步扩展应用 。


    推荐阅读