产业气象站|AI研习丨专题：单图像深度学习去雨研究的最新进展文
单图像去雨是图像复原的重要研究方向之一 。 单图像深度学习去雨方法中 ， 全监督去雨方法模型的输入均为配对数据 ， 因此尽管利用大量的合成配对数据取得了很好的效果 ， 但处理真实雨图时会产生性能退化；此外无法利用真实世界中的大量无标签雨图 ， 因此无法很好地解决真实图像去雨任务 。 鉴于此 ， 基于部分或零配对数据的无监督/半监督去雨算法则体现出更大的优势 。 本文将重点围绕无监督与半监督单图像深度学习去雨研究的最新进展进行简要回顾及分析 ， 并力图为后续的研究提供一些思路 。
关键字
图像复原；单图像去雨；无监督去雨；半监督去雨；深度表示学习
图像复原是利用退化过程的某些先验知识建立相应的数学模型 ， 通过求解逆问题对原始图像进行估计进而复原被退化的图像 。 但在退化过程中 ， 噪声和干扰因素同时存在 ， 给图像的复原带来了诸多不确定性和挑战 。 随着深度学习研究热潮的到来 ， 图像复原仍然是目前计算机视觉领域的重要方向 ， 例如图像去雨、图像去雾和图像去模糊等 ， 是诸多高层视觉任务的重要预处理步骤 。 雨是最常见的动态恶劣天气 ， 因此本文重点探讨图像去雨任务 。 特别地 ， 图像去雨分为静态单图像去雨和动态序列图像（即视频）去雨 。 和视频去雨相比 ， 单图像去雨由于缺乏时域信息因而更具挑战性 。 图1展示了部分合成的雨图像和真实的雨图像的对比 ， 从中可见真实雨图中的雨纹信息是更加复杂的、多样化的和多方向的 ， 因此真实雨图的复原任务更加具有挑战性 。
文章图片
图1合成雨图像和真实雨图像的比较
1单图像去雨简介图像去雨任务的数学问题可以简单表示为
I=R+B（1）
即将雨图I分解为雨纹R和干净背景B ， 得到复原的干净图像 。 由于R和B均不可知 ， 因此式（1）是一个病态问题 。 单图像去雨方法大致分为基于模型+优化的方法(非深度学习)和基于数据+训练的方法(深度学习) 。 传统去雨方法更多地依赖对雨纹的光学性质进行研究 ， 通过对雨图进行估计 ， 建立雨纹的先验模型 ， 再通过函数进行优化 。 例如稀疏编码和高斯混合模型等 。
近年来 ， 基于模型的传统方法逐渐被深度学习方法所取代 。 和传统去雨方法相比 ， 深度学习去雨方法取得了显著的性能提升 ， 主要原因归结于 ， 深度神经网络DNN具有强大的特征学习能力和对图像的映射能力；以及大量的训练数据为DNN提供了足够的信息 。 深度学习去雨方法使用不同的DNN（如CNN、RNN和GAN等）来提取雨图的层级特征和雨纹信息 ， 得到从雨图到清晰图像的直接映射 ， 即端到端的 。 为了训练得到更好的深度去雨模型 ， 与雨纹或背景相关的先验知识也会被添加到网络中 ， 如雨纹掩模Mask和雨纹密度信息等；也设计不同的基础单元进行特征提取 ， 如ResidualDenseBlock、ContextualizedDilatedBlock和SpatialAttentiveModule 。 此外 ， 不同的深度网络被提出 ， 如循环架构和递归架构 。
按照配对信息的数量和训练方式 ， 目前的单图像深度学习去雨方法可分为全监督、无监督和半监督三种 。 图2展示了部分配对图像和不成对图像 。 全监督方法的训练数据均为成对数据 。 但是真实应用中采集的数据都是无标签的 ， 即没有真值图像 ， 因此只使用部分甚至零配对数据的无监督和半监督去雨方法将具有更大的优势 ， 可以有效缓解配对数据受限问题 。 三种去雨模式的方法框架见图3 。
文章图片
图2配对图像和不成对图像的对比
文章图片
图3全监督/无监督/半监督训练方式的示意图
推荐阅读
- 产业气象站|5G基站太耗电！三大运营商正式官宣：将智能化关闭5G基站节约电费
- 产业气象站|他从不打无准备之仗，华为联手哈工大究竟想干啥？依任总性格
- 产业气象站|G是否影响健康？，张朝阳用手机保持30厘米
- 爱集微APP|“芯”势力助推游戏产业发展，芯片成为ChinaJoy的关键词之一
- 产业气象站|电力机器人“小白”上岗巡检
- 产业气象站|苏宁智能宣布五项Biu+共享政策，从生态赋能到生态共享
- 产业气象站|点赞“中国芯里的南大智慧”！华为公司CEO任正非一行访问南京大学
- 产业气象站|花多少钱收购，微软正在谈判收购TikTok美国业务
- 产业气象站|包括王兴，马云创办支付宝的本质不是为了支付，很多人没理解
- 上观新闻|半导体产业如何发展？嘉定举办的这个论坛指明了方向