中年|AI研习丨专题：单图像深度学习去雨研究的最新进展文( 二 )
本文插图
图3 全监督/ 无监督/ 半监督训练方式的示意图
目前大部分的深度学习去雨方法均是全监督训练模式 。 但是由于现实中的雨图不成对 ， 目前主要通过人工加雨纹的方式制造配对数据；然而人工合成的雨纹与真实的雨纹差异很大 ， 因此训练的模型在真实去雨任务上无法取得令人满意的结果 ， 即泛化能力差 。 因此 ， 本文主要围绕无监督与半监督单图像深度学习去雨研究的最新进展进行简要介绍 。
2 无监督单图像深度学习去雨
由于没有配对数据 ， 无监督去雨方法的研究难度更大 ， 因此到目前为止此类方法仍然很少 ， 代表性的几个无监督深度网络模型包括RRGAN、UD-GAN 和DerainCycleGAN 。 这些基于GAN 的深度方法提出不使用成对训练数据的端到端的单去雨模型 ， 通过深度网络加特定的物理模型或先验知识提取雨纹信息 ， 得到去雨图像 。 下面 ，将分别对RR-GAN、UD-GAN 和Derain-CycleGAN 进行简要介绍 。
RR-GAN 的网络架构 ， 由一个多尺度的注意力记忆生成器MAMG 和一个多尺度的深度监督鉴别器MDSD 组成 。 其中 ， MAMG 循环递归地利用具有注意机制的记忆模块不断获取更加精确的雨纹信息 ， 接着将原始雨图和雨纹图一起输入到U-Net 中得到复原图像 。 通过MDSD 对复原的图像进行真假判断 ， 使其外观尽可能接近于无雨图像 。 RR-GAN 除了使用GAN 的传统损失函数 ， 还加入了一个重构损失函数 ， 度量提取的雨纹加去雨得到的图片与原始雨图的欧氏距离 。 作者分别测试了在成对数据和不成对数据两种情况下得到的去雨性能 。 从结果看 ， 监督模式的效果并没有明显优于无监督模式的效果 。 对于这一点 ， 作者并没有给出确切原因 。 可能的原因是MDSD 只会对图片是否有雨进行真假判别 ， 而不会对图像是否相似进行判别 。
UD-GAN 提出一个无监督的生成对抗网络来处理单图像去雨 ， 通过引入自监督约束解决无配对数据受限的问题 。 自监督学习目前受到了深度学习领域的青睐和广泛关注 ， Yann LeCun 在AAAI 2020 论文“Self-Supervised Learning” 中再次强调了自监督学习的重要性 。 关于自监督学习的具体细节 ， 可查阅《中国人工智能学会通讯》2020年第10卷第1期中陈松灿教授的《自监督学习的最新进展与展望》一文 。 具体地 ， UDGAN设计了两个协同优化模块 ， 即雨纹引导模块RGM 和背景引导模块BGM ， 来充分学习雨图特征 。 其中 ， RGM用于区分真实雨图和基于BGM生成器输出的假雨图 ， 此功能与RR-GAN中的重构损失函数类似 。 BGM采用高斯模糊处理原始雨图和输出的无雨图像 ， 通过计算不同程度的高斯模糊后的梯度误差来确保输入输出内容的一致性 ， 效果类似于使用vgg16或者vgg19网络提取特征后的感知损失 。 此外 ， 由于输出的去雨图像与原图存在亮度差异 ， 还引入了亮度增强的干净图片作为负样本 ， 并将亮度对抗损失函数集成到鉴别器中 。 相对于RR-GAN的单个生成器和判别器 ， UD-GAN利用了CycleGAN的循环一致性结构 ， 使用了两种生成器和两种判别器 ， 可以使图片从有雨域到无雨域再到有雨域进行转化 。 该方法在合成数据和真实数据上都取得了不错的去雨结果 。 当同时利用合成数据和真实数据时 ， 去雨效果甚至可超越部分全监督学习去雨模式 。
DerainCycleGAN构建了一个双支路网络进行无监督去雨 ， 可分别处理和利用有雨图片域和无雨图片域中的信息 。 具体地 ， 提出一种基于无监督注意力引导的雨纹信息提取器U-ARSE ， 同时对有雨图像域和无雨图像域进行雨纹识别和提取 ， 通过U-ARSE内的循环递归来实现 。 提取出的雨纹信息（从有雨图像中提取的是雨纹掩模信息 ， 从无雨图像中提取的是空白信息）与原始图片一同输入到对应的生成器中分别生成去雨后图像和加雨图像 ， 然后继续生成重构的原始图像 。 为了优化U-ARSE ， 设计了一个物理先验来约束雨纹信息 ， 并使用了较全面的损失函数来约束整个网络 。 和RR-GAN、UD-GAN相比 ， 该网络同样使用了两种生成器和两种判别器 ， 但是RR-GAN和UD-GAN是直接利用单路结构进行无监督学习 ， 而DerainCycleGAN采用了双路结构 。 由于利用了干净图片域的信息 ， 进一步提高了去雨效果 。 此外 ， DerainCycleGAN还利用第二条支路来自动生成了带雨图片 。 与现有的合成数据相比 ， 新生成的雨纹具有更多的方向和形状 ， 更加接近真实雨纹信息 。 作者通过对比试验验证了在新数据集上训练模型 ， 在真实去雨任务中具有更好的效果 。
推荐阅读
- 中年|Carnot研发新型空气压缩机：噪音更低 寿命更长 成本更低
- 中年|中国-东盟区块链应用创新实验室揭牌
- 中年|交易所成黑钱胜地：“冻卡潮”背后的秘密
- 中年|波卡上线 现阶段是否值得投资？
- 中年|首台国产T3.20悬臂式掘进机在中信重工下线
- 中年|探索城市的“未来模样”，腾讯政务接下来这么干
- 中年|明年起禁用不可降解塑料购物袋、吸管！塑料袋发明者本来是为拯救地球
- 中年|神奇！这款智能垃圾集成箱能自动开合还能紫外线消毒
- 中年|6种经典糯米吃法，软软糯糯，一学即会
- 中年|慈善币AOT：用公益收割“韭菜”