下一代视频编码技术的云视频应用探索( 四 ) _编码技术

文章插图

首先介绍一下华为云视频，华为云视频是从2017年开始构建的，目前包括两大类业务，一种是比较传统的直播、点播、媒体处理以及监控业务，另一种是整个行业正在新晋的服务，比如RTC、VR/AR以及超高清制播。华为云视频面向很多的场景，例如娱乐直播、短视频、在线教育、企业直播、4K直播、4K制作等等，我们致力于帮助行业客户、伙伴、开发者、ISV快速上线应用，并帮他们构建差异化的竞争力，实现商业闭环。这里需要重点提一下RTC ， RTC是华为云视频对下一代视频的理解并作出了实际的推动，针对RTC ，我们重点构建超低时延、音视频质量等差异化竞争力。

3.2 视频编码技术

3.2.1 视频编码框架

文章插图

结合今天的主题，下面重点讲解华为云视频在视频编码技术上的一些工作。这些技术得力于华为2012媒体技术院全力支持。上图比较直观地表达了这点。图中黄框表示了编码器的内核，所有的华为云视频编码的编码能力、编码服务都是基于编码内核。编码内核采用了一个标准的编码器，类似于前面提到的H.264、H.265、AVS3、H.266或者EVC这一类，在这个编码内核的基础上，我们面向不同的场景做了不同的编码技术的优化和实践。比如面向RTC实时音视频场景，采用低时延编码技术；面向VR场景，采用FOV tile编码；面向多视角场景，采用空间云边协同编码；面向监控场景，采用智能语义编码；面向直播、点播，采用感知编码和画质增强等；另外，华为云视频借助鲲鹏、昇腾两大专有硬件，加速视频编转码效率。鲲鹏主要面向CPU这类计算，昇腾主要面向AI方面的加速。

3.2.2 标准编码内核

文章插图

接下来分别介绍一下视频编码的技术，第一是编码内核，华为云在商用编码器上面也有很多的技术积累。比如说近几年在MSU的大赛上， HW265编码器连续两年获得多项测评的第1名，今年我们也会向MSU推出新的编码器。

3.2.3 高清低码

文章插图

第二个技术是高清低码，高清低码目前在各个厂商或者商业领域里是大家比较默认的技术，也就是说在基于标准编码内核的基础上，能降低码率的同时保证主观质量没有下降，但实际上高清低码理论可行性是现有视频编码是基于香农定理，它的率失真模型都是连续的，但是人眼视觉模型是阶梯性非连续的，在这个阶梯上存在一个降码率的空间。

高清低码一般情况下包括三个模块，第一是基于人眼JND模型，就是说如何找出JND ，第二是基于JND去做感知编码，第三就是通过感知编码来控制标准编码内核输出，在主观质量不变的情况下大幅降低码率。华为云视频在这方面做了很多的工作，目前针对不同的应用场景，能达到30~50%的码率降低。

文章插图

高清低码技术现在也走到了一个瓶颈期，原有高清低码的考虑仅来源于编码与传输信道，随着AI技术的发展，是否还有进一步的发展空间？华为提出了一种新的思路：在原有的率失真模型上，加入一个接收端（解码端）复杂度的因子，也就是在发送端主动退化，把它通过时域或者空域的下采样变成一个相对数据量比较小的视频，这样做使得编码的码率相对更低，达到有效降低码率的目标。通过一些辅助信息再加上低码率、低分辨率的编码码流，在接收端通过AI技术进行超分、插帧或者是增强，将视频还原，如此整个链路上传输的码率会大幅下降，我们初步试验发现至少能降低60%以上的码率。