下一代视频编码技术的云视频应用探索( 五 ) _编码技术

3.2.4 超低时延编码

文章插图

RTC场景是我们面向下一代视频产业重点打造的服务能力， RTC场景下主要是超低时延的编码，我们提出了一个综合的超低时延方案，比如编码和渲染联合优化、编码的内核以及分层编码和信源信道协同等技术手段，面向不同的实时场景会做不同的组合或者应用，我们初步试验发现在1080P这种场景下进行编码和解码，整体的时延能达到十毫秒级别。

3.2.5 VR FOV编码

文章插图

面向VR场景，特别是面向360°场景，我们提出来FOV TWS的编码技术。这个技术原理是将高分辨率的全景视频分片，多个FOV的小分片加上一路4K的背景流，这样4K终端的播放器就能通过相应的视角FOV分片和4K全景背景流实现8K VR全景视频播放，同时还能保证MTP ，不会出现眩晕感。该技术已经写入OMAF的标准。整体体验上也得到了用户的认可。

3.2.6 智能语义编码

文章插图

当面向监控场景的时候，我们提出了一种智能语义的编码，主要通过背景建模加上视频内容和运动分析，再加上端侧的一些实时超分、插帧来构建智能语义编码的方案。监控场景的画面往往有很多细节，各种机器分析的识别率不能降低，如果压的太狠，识别率可能就会下降。初步的原型结果显示能做到在人和机器的识别率都不降低的前提下，达到70%以上的码率节省。

3.2.7 空间视频云边协同编码

文章插图

另外一个技术是空间视频编码，所谓空间视频就是是自由视角或多视角，这也是以后技术发展的一个方向。人们不再满足于一个固定视角视频观看，希望多视点或者自由视角的观看视频。在空间视频的编解码当中，我们提出一种云边协同编码，通过这种编码可以在边缘非常短的时间内按需动态的生成任意时刻的切换流，大幅减少一般方案中切换流的码率，初步试验发现至少能降低60%左右的带宽成本。

3.2.8 AI视频增强

文章插图

视频质量、视频码率是视频产业最关键的两个指标。前面讲的技术，不管是标准的技术、还是非标的技术，都是追求在同等画质的前提下，如何降低码率。

硬币的另一面则是，在同等码率下，如何追求视频主观体验质量。我们在这方面也做了很多尝试，根据不同的场景特征，基于云端、终端AI能力，从分辨率、帧频动态范围等维度对视频进行修复、增强和重建。并且考虑真实场景中往往是包含多种混合失真的等因素，我们提出一种面向混合失真的多任务视频增强框架，能够很好地适应不同场景和不同需求。

以上内容介绍的是华为云视频在视频编解码上的一些实践和探索，希望能带给大家一些干货或者启发。谢谢大家！

【下一代视频编码技术的云视频应用探索】