通过视频着色进行自监督跟踪( 四 )
文章插图
推理跟踪预测的例子[来源：]
在学习了着色的任务后 ， 我们有了一个模型 ， 可以计算一对目标框架和参考框架的相似矩阵a?? 。 对于跟踪的实际任务 ， 我们利用了标签空间中模型是非参数的这一特性 。 我们简单地重复使用等式1来传播 ， 但不是传播颜色 ， 而是传播类别的分布 。 对于第一帧 ， 我们有真实框掩码 ， 我们将所有实例掩码布置为一独热矢量c?（这类似于训练期间使用的量化颜色的一独热矢量） 。 将c?与我们的相似性矩阵A相结合 ， 以找到掩码的新位置 ， 但请记住 ， 随后几帧中的c?预测将变得很柔和 ， 表明模型的置信度 。 为了做出艰难的决定 ， 我们可以简单地选择最自信的那一类 。 推理算法为：
失效模式失效模式让我们来讨论一下 ， 当模型在某些场景中趋于失败时 ， 这主要是着色失败的情况 ， 这意味着着色与跟踪有很高的相关性 。
【通过视频着色进行自监督跟踪】在以下情况下会发现一些故障：
- 当光线在视频中剧烈或频繁变化时
- 该方法成功地跟踪了轻微到中等遮挡情况下的目标 ， 但当物体受到严重遮挡时无法进行对目标的跟踪
- 物体尺寸大小突然发生变化
推荐阅读
- 新专利显示苹果在未来可能让Apple Watch通过传感器测量血压
- 视频小白们的外挂装备：百视悦R5监视器+T2提词器套装上手
- iPhone折叠屏要来？两种设计通过初步测试
- LG展示全球首款通过Eyesafe认证的电视显示屏
- 提案通过：Fedora 34默认启用systemd-oomd
- 外媒：苹果两款可折叠iPhone样品通过富士康第一项质量检测
- 充值|APP会员充值需注意这三点
- 原来华为手机拍视频还能添加字幕，方法很简单，一学就会
- 三星Galaxy A52 5G通过3C认证 支持最高15W快速充电
- 谷歌可能会通过不更新iOS应用来规避苹果的隐私披露