搞算法还要当“美学家”?旷视要用AI重新定义计算摄影
文章插图
智东西(公众号:zhidxcom)
文 | 云鹏
如果要拎出当下旗舰手机三大比拼核心点 , 那么芯片性能、影像系统、屏幕效果必不可少 。
在5G时代 , 短视频拍摄火爆 , 摄影和视频创作已经逐渐走进普通人的生活中 , 因此摄影摄像几乎成为了手机厂商们争夺的关键技术高地 。
当然 , 攻下这座山头似乎并不容易 , 各家都组建起自己的影像算法研究团队 , 并且和索尼、徕卡这种“大厂”进行合作 , 共同调教算法 。
其实这种利用算法 , 拓展相机硬件获取信息能力 , 来尽可能丰富和全面呈现我们肉眼所见世界的方式 , 被行业内称之为计算摄影 。
文章插图
对于计算摄影的研究 , 难度其实很大 , 因为这需要有比较聚焦、专一的研究团队和一定的数据基础 , 同时在算法研发工具、平台方面的要求也不低 。
有需求 , 就有市场 , 很多在视觉算法领域有一定积累的企业 , 也开始抓住计算摄影这条关键赛道 , 尝试给出自己的解题方案 , 而AI似乎在这其中扮演着越来越重要的角色 。
为了揭开这层面纱 , 理解AI对于计算摄影的根本意义 , 以及不同玩家究竟是如何与“光影艺术”打交道的 , 智东西与AI企业旷视科技的工程师进行了深入交流 。
一、都是800万像素 , 凭什么你拍的更好?其实大家真正对于“拍照不止于硬件”有所感知 , 是从iPhone开始 。 从iPhone 5一直到iPhone 6s , 苹果一直在沿用一颗800万像素摄像头 。
但苹果却凭借这一枚祖传800万像素摄像头 , “吊打”了当时一众安卓旗舰手机的拍照素质 , 在一个小小的相机模组背后 , 对于硬件的调教和算法产生了关键作用 。
时间来到2018年 , 谷歌Pixel 3系列凭借最佳镜头模式、超级变焦、夜景拍照等功能 , 成为了当时的“地表最强单摄”手机 。
文章插图
从过去让手机拍的到 , 到今天让手机拍得好 , 同样的像素 , 接近的光学尺寸 , 但成像效果却相去甚远 。
曾经厂商们给手机拍照增加各种各样的功能 , 但最后发现 , 一拍即得 , 反而是用户最需要的 , 而实现这种体验的背后 , 需要算法提前做大量工作 。
其实在计算摄影领域 , 旷视已经深耕多年 , 只不过略显低调 。 前几年手机刷脸解锁和刷脸支付成为热门 , 这背后旷视的算法就多有应用 。 今天 , 旷视要将AI的能力融入影像算法 , 在他们看来 , AI才是计算摄影的未来方向 。
二、跟“光“打交道 , 硬件需要AI来帮忙那么AI到底如何给手机影像系统赋能?这听起来似乎有些抽象 。 通过与旷视工程师进行交流 , 我对他们基于深度学习神经网络能力的“AI+CV”超画质技术有了更深的理解 。
其实通俗来讲 , 这类技术就是通过AI来对高画质数码相机的成像特性进行学习 , 还原景物原有的细节纹理 , 使画面品质得到整体提升 。
也就是说 , “原来硬件看不到的 , AI来告诉它都有什么” , 获得超越图像原本的效果 , 从而让用户可以更加简单便捷的获得一张“好照片” 。
旷视特别提到 , 目前他们的超画质产品已经在50多款热销手机中有所应用 , 并多次在相机评测机构DXOMark中取得当时的最高分 。
具体来看 , 旷视的超画质技术主要是针对全局和细节两方面分别进行优化处理 。
比如画面细节增强、动态范围提升、降噪效果提升这类属于全局优化的范畴 , 而闭眼融合修复、天空噪声优化、挥手鬼影优化这些则属于细节优化 。
文章插图
推荐阅读
- 向日葵远程控制企业版客户端更新升级,优化远控UI适配SADDC内核算法
- 让花粉失望了,首款鸿蒙手机再成谜团,华为还要另立门户?
- 组装一台做后期、打游戏,可能还要同时能直接做直播的电脑主机
- 在谷歌算法更新之后2020年盗版网站流量锐减三分之一
- 详解工程师不可不会的LRU缓存淘汰算法
- 今天上海这个比赛上,获奖“程序媛”讲述了自己与算法的爱恨情仇
- 重压下,华为公布专利:想突围芯片卡脖子,国内还要扛多少难?
- 算法萌新如何学好动态规划(3)
- 5G信号在汉普及还要多久?三大运营商这样回复
- 这场赛事的主角是算法!——首届BPAA全球算法最佳实践典范大赛在上海启动