江苏龙网

  1. 首页 > 资讯 > 科技 > >

CSDN@5G 时代，优酷推出的帧享究竟是什么？( 二 )


在传统算法中 ， 先根据多帧的视频图像去做光流 ， 预测出前后向光流 ， 来映射到需要插帧的相位上 。 这时候就需要考虑很多特征 ， 比如到底是用前向光流还是后向光流、用双向光流还是单向光流 ， 哪些地方是露出遮挡区域等 ， 根据这些去做插值重建 ， 得到高帧率视频 ， 这是一种完全基于运动特性的传统方法 。
网络方法非常类似 ， 只是将光流的预测还有像素的差值都用网络来实现 ， 还有一些网络方法可能更极端 ， 它会把光流网络和插值网络合二为一 ， 直接用一个端到端的数据训练 ， 得到一个插帧网络 。 但无论是传统还是网络办法 ， 在插帧中有一个难以解决的问题——在一些运动的交界处 ， 光流很难严格贴合物体的实际边缘 ， 这样会导致各种各样的问题 。
优酷是如何优化的？
首先是基于成熟的插值算法 ， 将各点效果做到极致 ， 在实际场景中有效解决问题；其次是拆解问题 ， 尝试把通用的插帧问题 ， 分层分类成不同的垂类 ， 用不同的插帧方法来解决 ， 实现整体最优 。
CSDN@5G 时代，优酷推出的帧享究竟是什么？
本文插图

1)场景分类 。 在时间上做分类 ， 将时间轴上的一个视频按照场景切开 ， 分成了多个场景 ， 把不同场景分成全局运动场景、静止场景、复杂运动场景、片头片尾等 。
2）目标的分割 。 在空间维度将图像分成多个目标区域 ， 例如台标角标的区域、字幕区域、前景背景、露出遮挡的区域 。
3）垂类场景的插帧完成后 ， 再经过一些柔性的融合得到最终的插帧结果 。
4）人工校对 。 无论用多么精巧的办法、算法 ， 总会有一些疑难的case ， 是技术无法处理的 ， 所以在设计算法时 ， 会自动对疑难case进行标记 。 在审核后台 ， 这些标记区域进行人工审核 ， 对于有问题的插帧结果进行回退处理 。
CSDN@5G 时代，优酷推出的帧享究竟是什么？
本文插图

上图是对比图 ， 左侧上方飞掉的字幕 ， 通过对字幕区域的特殊处理以后 ， 已经能够正常做插帧了 。 右侧 ， 将运动光流进行精细化 ， 让光流更贴合运动的前景轮廓 ， 有效去除在运动物体周报的光圈效应 。
2、高动态的渲染
CSDN@5G 时代，优酷推出的帧享究竟是什么？
本文插图

高动态渲染其实就是HDR 。 上图是对比图 ， 左侧是SDR效果（画面偏灰 ， 看不清细节）；右侧是HDR效果 ， 画面很美 ， 点点繁星和山势的暗部细节轮廓都非常清楚 。
HDR是一个成熟概念 ， 行业中有各种各样的HDR标准 。 我们如何区别中间的差异 ， 并选择一个好的HDR算法？HDR解决的是一个从高动态到低动态 ， 从宽色域到色域的映射效果问题 。 自然景物能够呈现出的亮度范围是非常高动态的 ， 从1/万nit到1万nit以上都有 。 但显示设备能够呈现的亮度范围是低动态的 ， 大部分只有几百nit ， 而低亮也不够低 。 所以天然的 ， 把自然景物呈现到显示器上 ， 就面临着一个从高动态到低动态的映射问题 。 所以 ， HDR的关键不是8ibt还是10bit ， 也不是4k或者1080 ， 而是去理解内容和设备 ， 确定在什么设备什么环境下 ， 用什么样的映射去渲染内容 ， 达到主观效果的最优 。
CSDN@5G 时代，优酷推出的帧享究竟是什么？
本文插图

上图 ， 左侧是亮度从高到低映射 ， 右侧是色彩映射 ， 需要把马蹄形的大的宽色域映射到内部小三角形上面的窄色域 。
帧享HDR在技术上做了哪些改进？
一是测屏校屏 ， 帧享要做标准的颜色管理 ， 需要将不同颜色做到在不同设备做到显示效果一致 ， 用来排除屏幕的颜色偏移 ， 把颜色做的更加准确 。


推荐阅读


上一篇：『搜狐新闻』麻省理工用“肌肉信号”控制无人机，握紧拳头精准穿过3个小环

下一篇：#互联网圈里人#中国又一社交平台崛起，连微信都无法抗衡，已连续20个季度盈利