摄像头|一个普通摄像头就让二次元老婆“活”过来 网友:求收费( 二 )


文章图片
而当动捕技术能够捕捉的身体位点越多 , 可以呈现的效果也就越丰富 。
比如借助小K直播姬 , vTuber就可以随意扭动身体、摆出各种动作 , 面部表情也多了很多细节 。
摄像头|一个普通摄像头就让二次元老婆“活”过来 网友:求收费
文章图片
而最令人惊叹的手部动作的实现 , 则有赖于深度信息的引入 。之前的卷积神经网络(CNN)学习的关节点只有2D信息 , 无法使用到3D虚拟形象上 , 但是小K直播姬自研的AI算法能捕捉3D信息并应用的3D虚拟直播里 。
比如“石头”握拳这个动作 , 在普通摄像头“眼中” , 手部位点会出现遮挡、重叠 , 这时只用2D关键点识别是很难还原真实动作的 。
摄像头|一个普通摄像头就让二次元老婆“活”过来 网友:求收费
文章图片
具体而言 , 小K直播姬的解决方案 , 是根据摄像头捕捉到的2D图像 , 来估计每个关节点到镜头之间的距离 。
掌握了3D深度信息后 , 即便摄像头只能拍到手部侧面 , 想要还原动作也不成问题 。
尤其是双臂前后交换这种动作 , 2D识别很可能无法识别前后的差别 , 但是3D识别就能让画面呈现明显的立体感 。
摄像头|一个普通摄像头就让二次元老婆“活”过来 网友:求收费
文章图片
目前 , 这种技术已经能做到每秒输出30帧画面 。
其实它还能开放到每秒60帧 , 只是考虑到vTuber一般在直播时还需要开启其他软件 , 主播的电脑可能会承受不住 , 所以当下推荐大家开30帧 。
摄像头|一个普通摄像头就让二次元老婆“活”过来 网友:求收费
文章图片
看到这里 , 是不是已经被惊艳到了?
然鹅 , 这还不是最厉害的 。
其实 , 不只是上半身的动作捕捉 , 全身动捕现在都能仅靠摄像头完成 。
摄像头|一个普通摄像头就让二次元老婆“活”过来 网友:求收费
文章图片
没错 , 仍旧不需要佩戴任何穿戴设备 , 只需多个普通的RGB摄像头 , 就能将真人的全身动作完全还原 。
人人都可试玩的那种
效果丝滑自然、只需一台电脑+普通摄像头 , 还是免 费 的……这确实让人看了很难不心动 。
也难怪小K直播姬一登场 , 惹得网友们直呼:
赶紧收钱 , 求求了 。
摄像头|一个普通摄像头就让二次元老婆“活”过来 网友:求收费
文章图片
要知道 , 传统的光学动捕、惯性动捕 , 由于对传感器设备、专业摄影棚等方面的需求 , 成本始终居高不下 。
以今年火出圈的A-SOUL为例 , 它由字节跳动和乐华联合推出 , 传闻称其所使用的动捕设备成本高达8位数 。
而小K直播姬这个免费产品 , 直接实现了“人人皆可vTuber” 。
这不 , 在小K直播姬公测后 , 不少人都来一探究竟 , 公测10日后虚拟主播注册数就已经破万 。
在这里不仅可以自己捏人 , 还能导入模型 , B站上许多人都晒出了自己的vTuber形象 。
知名VUP小希小桃最近大变身 , 也是因为用了小K直播姬 。
摄像头|一个普通摄像头就让二次元老婆“活”过来 网友:求收费
文章图片
会出现一石激起千层浪的现象倒也不稀奇 , 毕竟市面上这种将视频动捕技术商业化、还面向vTuber的产品 , 实在是太少了 。
团队出身游戏行业
那为什么会是小K直播姬呢?
这个答案要从它的幕后打造者——云舶科技身上找答案 。
2017年 , 出身游戏行业的梅嵩和陈敏联合创立了云舶科技 。
其中 , 梅嵩是原蓝港互动SVP , 《王者之剑》系列手游制作人;陈敏是原蓝港互动CTO , 核心团队有着16年的研发经验 。
凭借自身对游戏动画市场的了解 , 他们从创业初期就专注于视频动捕技术 。
事实上 , 小K直播姬所采用的所有视频动捕技术 , 都是由云舶科技自主研发 。


推荐阅读