音视频算法在淘宝中的应用( 四 ) _音视频算法

文章插图

基于在S265核心编码器上的积累，我们从2020年Q2开始了S266编解码器的研发工作，并率先在行业内公布了可商用的S266解码器。

解码器方面对比VTM实现单核3.5倍提速，多核16倍提速；在高端的手机（iphone12、P40）实现4K 30FPS解码，低端手机720P双核实现30FPS解码。720P内存消耗<35m< span="">和Binary<1m< span="">，对大型App来说非常关键，包过大时安装下载会受阻。

我们内部正在做VVC编码器，目标是1FPS Slow档对比X265 Veryslow节省50%码率；30FPS Fast档对比X265 Medium节省40%码率。大家知道VVC比HEVC会更慢，一段1分钟的4k视频用HEVC的HM压缩需要几天，而如果用VVC的VTM则可能需要一个月，时间消耗会非常长。目前我们Slow档已经做到比VTM提升100倍速度但是压缩效率接近。

文章插图

总结一下，淘宝的S265智能编码方案目标是让视频更清晰，覆盖所有业务场景，包括图片压缩、会议SCC、直播、云转码甚至云游戏。

业务策略上包括场景分类自适应、智能码控、针对不同场景的延时需求，做延时的适配及优化（在非常低的延时下达到接近不限延时的压缩效率）、算力自适应（根据不同的设备自适应调节编码的速度档次）。

编解码内核包括码控及前处理、编码工具集、快速算法，编码框架等优化。
系统平台包括基于ARM平台的（armV7/arm64）及X86实现（SSE/AVX）、目前在考虑基于FPGA、ASIC的实现，还有质量评价系统和训练集群来辅助编码器研发。

03 视频处理提升画质体验

下面介绍视频处理提升画质体验的观点。

3.1 视频处理提升画质

文章插图

视频失真来源于很多方面：包括过曝失曝、缩放、失焦、频闪、色彩损失、压缩损失、噪声、抖动、帧率下采样。我们有自己的视频增强工具集做对应适配比如去块失真（DeBlk）、超分辨率（偏向端侧的和服务端不同版本的模型）、纹理细节增强、视频去抖（DEI）、色彩增强、暗光增强、时空域去噪。

3.2 淘宝短视频窄带高清转码

文章插图

淘宝短视频的整个转码迁移到窄带高清技术上，从视频生产链条分为内容编辑、上传（上传要求上传成功率高、速度快，我们有多PASS上传，切分上传、转码、审核（有低质、失真视频需要筛选）、播放（根据播放设备能力做后处理及渲染）。

向大家介绍一下转码服务，它的核心技术是窄带高清和S265，分别有两个视觉处理模型。首先是窄带高清的处理模型包括质量分类，细小纹理去除、脱焦区域弱化（节省码率）、易感知纹理增强（增强视觉体验）、人脸保护（避免过度增强引起体感不好）、马赛克修复、去隔行扫描。S265视觉压缩模型有三个点，人眼感知与失真拐点（BD-rate曲线刚开始较陡，向后较缓，要找到高性价比的点，感觉不出更多的失真又可以达到合适码率）、码率与分辨率甜蜜拐点（不同码率在不同内容上适合于不同分辨率压缩。如果一个非常低的码率300K强行压缩1080P出来都是块主观体验很差，如果压缩540P、360P可以获得更高的视觉体验）、场景分类编码（不同分类场景适合不同编码参数、码率的选择）。

3.3 电竞场景中的美颜

文章插图

在内容生产中美颜作为一项基础功能，已经被人们广泛接受，但是常规美颜在电商场景中存在一些问题，比如过度美化，商品变色，背景模糊，资源消耗大等等；在PixelAI美颜中，我们使用了Face3D重建来保障形变的自然，使用AI肤色模型来保证美颜不会伤害到背景和商品。

3.4 HDR10端到端系统【音视频算法在淘宝中的应用】

文章插图

随着采集和显示设备的发展，HDR+10Bit逐渐有一些应用，我们觉得HDR10有三项核心技术：第一是动态范围。在低照度、曝光过度场景下帮助我们看清内容；第二是色域空间。支持BT2020提升色彩还原；第三是10bit位深。HDR对我们的商品还原会非常有帮助，因为电商直播和短视频中最核心的是还原商品而不是美化商品。