中年|AI研习丨专题：单图像深度学习去雨研究的最新进展文
单图像去雨是图像复原的重要研究方向之一 。 单图像深度学习去雨方法中 ， 全监督去雨方法模型的输入均为配对数据 ， 因此尽管利用大量的合成配对数据取得了很好的效果 ， 但处理真实雨图时会产生性能退化；此外无法利用真实世界中的大量无标签雨图 ， 因此无法很好地解决真实图像去雨任务 。 鉴于此 ， 基于部分或零配对数据的无监督/ 半监督去雨算法则体现出更大的优势 。 本文将重点围绕无监督与半监督单图像深度学习去雨研究的最新进展进行简要回顾及分析 ， 并力图为后续的研究提供一些思路 。
关 键 字
图像复原；单图像去雨；无监督去雨；半监督去雨；深度表示学习
图像复原是利用退化过程的某些先验知识建立相应的数学模型 ， 通过求解逆问题对原始图像进行估计进而复原被退化的图像 。 但在退化过程中 ， 噪声和干扰因素同时存在 ， 给图像的复原带来了诸多不确定性和挑战 。 随着深度学习研究热潮的到来 ， 图像复原仍然是目前计算机视觉领域的重要方向 ， 例如图像去雨、图像去雾和图像去模糊等 ， 是诸多高层视觉任务的重要预处理步骤 。 雨是最常见的动态恶劣天气 ， 因此本文重点探讨图像去雨任务 。 特别地 ， 图像去雨分为静态单图像去雨和动态序列图像（即视频）去雨 。 和视频去雨相比 ， 单图像去雨由于缺乏时域信息因而更具挑战性 。 图1 展示了部分合成的雨图像和真实的雨图像的对比 ， 从中可见真实雨图中的雨纹信息是更加复杂的、多样化的和多方向的 ， 因此真实雨图的复原任务更加具有挑战性 。
本文插图
图1 合成雨图像和真实雨图像的比较
1 单图像去雨简介 图像去雨任务的数学问题可以简单表示为
I=R+B （1）
即将雨图I 分解为雨纹R 和干净背景B ， 得到复原的干净图像 。 由于R 和B 均不可知 ， 因此式（1）是一个病态问题 。 单图像去雨方法大致分为基于模型+ 优化的方法( 非深度学习) 和基于数据+训练的方法( 深度学习) 。 传统去雨方法更多地依赖对雨纹的光学性质进行研究 ， 通过对雨图进行估计 ， 建立雨纹的先验模型 ， 再通过函数进行优化 。 例如稀疏编码和高斯混合模型等 。
近年来 ， 基于模型的传统方法逐渐被深度学习方法所取代 。 和传统去雨方法相比 ， 深度学习去雨方法取得了显著的性能提升 ， 主要原因归结于 ， 深度神经网络DNN 具有强大的特征学习能力和对图像的映射能力；以及大量的训练数据为DNN 提供了足够的信息 。 深度学习去雨方法使用不同的DNN（ 如CNN、RNN 和GAN 等）来提取雨图的层级特征和雨纹信息 ， 得到从雨图到清晰图像的直接映射 ， 即端到端的 。 为了训练得到更好的深度去雨模型 ， 与雨纹或背景相关的先验知识也会被添加到网络中 ， 如雨纹掩模Mask 和雨纹密度信息等；也设计不同的基础单元进行特征提取 ， 如Residual Dense Block、Contextualized Dilated Block 和Spatial Attentive Module 。 此外 ， 不同的深度网络被提出 ， 如循环架构和递归架构 。
按照配对信息的数量和训练方式 ， 目前的单图像深度学习去雨方法可分为全监督、无监督和半监督三种 。 图2 展示了部分配对图像和不成对图像 。 全监督方法的训练数据均为成对数据 。 但是真实应用中采集的数据都是无标签的 ， 即没有真值图像 ， 因此只使用部分甚至零配对数据的无监督和半监督去雨方法将具有更大的优势 ， 可以有效缓解配对数据受限问题 。 三种去雨模式的方法框架见图3 。
本文插图
图2 配对图像和不成对图像的对比
推荐阅读
- 中年|Carnot研发新型空气压缩机：噪音更低 寿命更长 成本更低
- 中年|中国-东盟区块链应用创新实验室揭牌
- 中年|交易所成黑钱胜地：“冻卡潮”背后的秘密
- 中年|波卡上线 现阶段是否值得投资？
- 中年|首台国产T3.20悬臂式掘进机在中信重工下线
- 中年|探索城市的“未来模样”，腾讯政务接下来这么干
- 中年|明年起禁用不可降解塑料购物袋、吸管！塑料袋发明者本来是为拯救地球
- 中年|神奇！这款智能垃圾集成箱能自动开合还能紫外线消毒
- 中年|6种经典糯米吃法，软软糯糯，一学即会
- 中年|慈善币AOT：用公益收割“韭菜”