江苏龙网

  1. 首页 > 资讯 > 科技 > >

[驱动之家]下一代小米AI相机曝光：完全替代滤镜 8K视频成主流


AI相机作为一个概念并不新鲜 ， 小米早在小米8的时代就推出了第一代小米AI相机 。 最近发布的小米10系列以及小米10青春版手机 ， 升级到了2.0版本 。
近日 ， 小米官方发文详细科普了全新的小米AI相机2.0 ， 同时透露了下一代小米AI相机的特色 。
小米介绍称 ， 传统的AI相机的做法 ， 通常分成两个部分 ， 一是识别 ， 二是后处理 。
前者通过神经网络来“认知”当前拍摄的场景 ， 后者根据不同的场景 ， 使用一些传统的方式来针对特定场景做一些优化 ， 比如加一些特殊的滤镜 。 所谓“AI“ ， 其实只有前面的识别部分跟AI挂钩 。
这种方式最大的问题是只能针对特定的几个预设好的场景来做优化 ， 并且针对同一个场景 ， 只能采用一样的模板来处理 ， 而没有针对当前的色彩 ， 光影等做一些更有针对性的局部优化 ， 效果会大打折扣 。
AI相机2.0详细技术详解
【[驱动之家]下一代小米AI相机曝光：完全替代滤镜 8K视频成主流】为了解决传统AI相机只能使用固定模板、针对预设场景优化的问题 ， 相机算法团队开创性的将传统的场景感知拓展成为全方位的色彩、对比度、光影等内容感知 。
同时 ， 小米还使用了深度神经网络对整个画面进行全局和局部的分析 ， 获取到最优的画面效果 ， 并且实时地对画质进行增强 。 所以 ， 新一代的AI相机能够对所有的场景进行有针对性的画质提升 。
可以说 ， 对于同样的一片草地 ， 在不同的光照 ， 角度 ， 甚至背景下 ， 新的AI相机都会有不一样的优化效果 。

[驱动之家]下一代小米AI相机曝光：完全替代滤镜 8K视频成主流
本文插图

原片和AI相机的对比
小米的技术把识别+处理合二为一 ， 一站式的实现了AI修图师的效果 。 为了实现上述功能 ， 小米在以下几方面进行了技术创新 。
（1）数据生成
AI相机2.0的目标是能够产生美的图片 ， 这就包括要对原图做噪声 ， 亮度 ， 颜色 ， 对比度 ， 动态范围等多个维度进行调整 。
对于深度学习而言 ， 这样的训练集很难获取 。 除了和团队中的设计师合作PS了数万张手机拍张数据之外 ， 小米也收集了很多网络上的高分图片作为目标 ， 使用GAN网络进行训练 。
小米使用的GAN网络是two path GAN ， 跟cycle GAN 比较类似 ， 能够保证生成网络生成的图片跟原图片的内容保持一致 ， 仅仅去优化一些我们希望对原图进行优化的维度 。

[驱动之家]下一代小米AI相机曝光：完全替代滤镜 8K视频成主流
本文插图

Two Path GAN示意图
（2）训练过程
在训练的过程中 ， 小米使用的loss主要有consistency loss ， similarity loss ，total variance loss，adversarial loss ， 通过不同的weight 来控制生成网络的优化方向和能力 。
下面将从训练机制、帧间一致性处理、开关模块这三个方面来详细描述训练过程：
> Teacher - student 机制：
生成器网络训练结束后 ， 以生成器网络作为teacher 网络 ， 一个更轻量级的网络作为student 网络进行学习 。 在轻量级的网络中我们加入了自相似图（self-similarity map）作为guidance map来实现相似结构和区域的效果尽量一致 。

[驱动之家]下一代小米AI相机曝光：完全替代滤镜 8K视频成主流
本文插图

Teacher-Student网络
> 帧间效果一致性：
由于每帧都会做处理 ， 帧间效果需要稳定 ， 否则在视频和预览的时候就会容易出现跳变 。 但是上述的训练是在图片上做的 ， 因此 ， 在训练student网络的时候小米添加了帧间相似度loss ， 以保证帧间的效果一致 。

[驱动之家]下一代小米AI相机曝光：完全替代滤镜 8K视频成主流


推荐阅读


上一篇：「科技犬君」联想IdeaPad Duet平板开卖；小米手环5曝光

下一篇：「埃尔法哥哥」DB与ES混合应用之数据离线同步