[驱动之家]下一代小米AI相机曝光:完全替代滤镜 8K视频成主流( 二 )


本文插图

帧间相似度Loss
> 开关module:
轻量级网络由于参数比较少 , 对于不同特点的景物不容易做到对应效果 , 因此小米在训练的过程中加入了switch module , 这个模块的作用就是能够通过判断不同的景物来选择不同的效果 , 有效的实现了针对不同的场景做不同的处理的效果 。

[驱动之家]下一代小米AI相机曝光:完全替代滤镜 8K视频成主流
本文插图

Switch module
(3)处理速度
在实现AI算法2.0中 , 还有一个最大的技术挑战是计算量 。
众所周知 , 针对图像像素处理的深度神经网络的计算量极高 , 对手机的计算能力是一个很大的考验 , 而小米除了要实现预览实时处理 , 所见即所得的效果之外 , 更“变态”的要求能针对一亿像素的原片进行处理 。
为了实现这两个看似不可能的任务 , 团队的攻城狮们对于神经网络的优化达到了每个四则运算都去细抠的程度 。 除了使用常见的网络减枝 , 网络压缩的技术 , 小米还创造性地提出了一种新的基于导向图的开关网络结 。
这个网络不仅仅可以使得网络参数和计算量大幅下降 , 也可以满足优化的多样性要求(噪声 , 亮度 , 颜色 , 对比度 , 高动态等等) , 最终得以将全新的AI相机展现给用户 。

[驱动之家]下一代小米AI相机曝光:完全替代滤镜 8K视频成主流
本文插图

基于导向图的开关网络结构
小米方面透露 , 团队已经紧锣密鼓的开始了下一代AI相机技术的研发工作 , 在新的一代中 , 争取在如下几个维度上取得突破:
更多风格:
我们在寻找一种可以通过比较有限的数据集来快速训练一种新的风格的技术 , 这样可以在很短的时间内增加很多用户喜欢的风格 , 最后可以完全替代滤镜功能 , 甚至可以允许用户自定义拍照风格 。
更多维度:
除了色彩维度之外 , 我们计划用类似的技术来处理亮度、对比度等不同的维度 , 完美的复制一个专业修图师的大部分工作 , 全方位的提升拍照和视频的整体画质和观感 。
进一步优化性能:
8K视频已经逐渐成为主流 , 因此对我们算法的处理时间和内存占用提出了更高的要求 , 我们也在做进一步的优化 。


推荐阅读