下一代视频编码技术的云视频应用探索( 二 ) _编码技术

文章插图

另外一个应用场景就是Cloud VR ，我们一直认为VR是5G技术发展下的关键场景。VR发展是一波三折的，但在目前来看，之前碰到的一些问题正在逐渐改善。从终端的角度来看，之前的终端很贵，但是目前千元终端机已经逐渐来临，而且体验也会越来越好。除了设备终端， VR此前还面临内容缺失的重大问题，而VR直播很大程度上缓解了内容缺乏的问题。

虽然困境在逐步改善，但VR目前还面临着新的问题。互联网VR业务很难形成商业闭环，主要原因在于VR业务带来了收入增加，但与此同时带宽增加更多， VR追求的高质量体验需要通过更高带宽来实现，高带宽势必会带来高成本，而高成本就会导致商业无法闭环。在这样的前提下，很多玩家都会通过降低体验来开展VR ，比如说内容采用4K以下，码率采用10兆以下，终端采用卡片机来体验VR ，虽然这样可以将VR的业务打通，但体验效果是很差的，也导致付费用户非常少，产业发展比较缓慢。所以在VR的发展上，我们认为通过视频压缩编码以降低带宽是关键，是可以帮助实现商业闭环的一个环节。

文章插图

从前面讲述视频行业趋势不难看出，用户体验升级、视频产业升级、商业成本等驱动着视频全方位升级，分辨率从高清到8K ，帧频从30帧到120帧，视场角从不到90度到360度， SDR到HDR等，这些参数升级推动视频压缩编码技术不断演进，追求压缩比是永恒不变的！

另外，前车之鉴， HEVC/H.265 ，其实是很优秀的编码技术，但因为前期不友好的专利政策，市场占有率一直不高13% 。还好目前有所好转！整个行业急需压缩比更高、生态更完善、专利政策更合理的视频编码技术。

提升压缩比有两条路线，这也是各厂商正在做的。

标准技术路线，作为基础内核， H.266、AV1、AVS3、AI编码
非标技术路线，依赖基础标准，结合人眼感知特征，感知编码、内容编码、ROI编码

2. 下一代视频编码技术

下面将从这两个角度来介绍华为云视频在下一代视频编码技术上的一些工作。这些技术得力于华为2012媒体技术院全力支持。

2.1 下一代视频编码标准技术

文章插图

从上图看出，下一代的视频编码标准大概分为三个阵营或者三个类型：

国际标准：由MPEG、VVC联合推动的像VVC/H.266还有EVC；
国内标准：国内标准组织正在推出或已经推出的AVS3的phase1、AVS3的phase2 ，两者主要差别在于AVS3的第1阶段标准瞄准H.266 ，第二阶段的标准则是瞄准未来,可能会加入一些智能编码的技术；
谷歌牵头的AOM联盟推出的AV1 ，是一个开源技术。

文章插图

下一代的视频编码技术仍是采用传统的演进思路——在经典架构上做模块增强。在H.266CFP时，华为联合其他几家公司提了P41提案，在PSNR和MOS评估方面都是排名第一，这个提案也是后面基础。华为在VVC里的核心专利数量已属于第一阵营，这是一个了不起的成就，也说明了国内的视频压缩编码基础研究实际上不弱于欧美传统的公司。

文章插图

上图是以VVC为例，对其新增的增强工具进行盘点。纵轴是每个工具的压缩收益，横轴是每个工具编解码复杂度，编码复杂度的权重可能会更高一点。VVC在块划分、帧内预测、帧间预测、熵编码、变换量化等多个模块上进行了增强，其中主要的增强是帧内、帧间预测、块划分、滤波的增强以及机器学习工具演进带来的收益。VVC暂时没有引入深度学习这一类编码工具。