江苏龙网

  1. 首页 > 人文 > >

产业气象站|AI研习丨专题：单图像深度学习去雨研究的最新进展文( 三 )


3半监督单图像深度学习去雨
半监督去雨方法除了使用合成数据 ， 还增加了真实数据进行联合训练 。 由于合成数据和真实数据的差异较大 ， 如何进行有效的约束和建立两个域间的联系是个很大挑战 。 因此 ， 针对半监督去雨方法的研究也非常少 ， 代表性的方法包括半监督迁移学习算法SIRR和Semi-DerainGAN算法等 。 接下来 ， 将分别对SIRR和Semi-DerainGAN的网络架构进行简要介绍 。
SIRR使用了CNN同时处理合成图像数据和真实数据 。 对于合成数据直接采用传统的网络输出图像,与干净图像间的最小二乘损失（MSEloss）进行约束 。 对于真实数据 ， 通过在真实图片残差（即真实雨图减去真实输出图像）的基础上设计参数化分布的似然项来约束去雨效果 。 最后 ， 通过合成图片的残差（即合成带雨图像减去对应的无雨图像）与真实图片的残差之间的相对熵（即KL散度）来约束合成图像域与真实图像域的去雨效果 。 SIRR通过监督模式下的合成雨纹信息学习来指导无监督模式下的真实雨纹信息学习 ， 缓解了合成数据不足与样本偏差的问题 。 SIRR还使用了高斯混合模型（GMM）来模拟真实雨纹 ， 以及使用EM算法来进行求解 ， 具有一定的指导意义 。 但是合成图像和真实图像中的雨纹信息差异通常很大 ， 因此通过添加合成雨纹域和真实雨纹域之间的约束（即减少合成残差与真实残差之间的KL距离）来训练一个共用的深度网络可能不合适 。 因为该过程会导致对合成数据中提取的雨纹信息进行蒸馏 ， 降低了监督网络的精准度 ， 使得该SIRR模型在处理大雨情况下的图像去雨任务时会留下较多的雨纹信息 。
为了解决上述问题 ， Semi-DerainGAN提出了一种新的基于半监督模式的深度单图像去雨网络 。 该网络提出一种基于共享参数的半监督雨纹信息学习器SSRML ， 可以同时训练合成数据和真实数据 ， 使得真实图像能提供更多的雨纹信息 。 该方法使用两个独立的深度网络生成器分别进行合成数据和真实数据的去雨操作 ， 可减轻在一个深度网络中进行去雨所造成的知识冲突和学习力下降的问题 。 引入的第三个生成器可以进一步对真实数据的去雨结果进行重构 ， 加强有雨域和无雨域图片的生成转化 。 对于全监督子网络中的合成数据 ， 使用了传统的对抗损失、结构相似性损失和感知损失等；对于无监督子网络中的真实数据 ， 使用了对抗损失、TV正则化、感知损失和循环一致性损失 。 为了获得更好的去雨效果 ， 针对性地设计了一个成对图片鉴别器 ， 可区分合成数据中的真假图片对 。 与SIRR相比 ， Semi-DerainGAN在合成数据集和真实数据集上都取得了更好的实验结果 。 但是 ， 由于合成数据和真实数据中所包含的雨纹信息差异大 ， 以及全监督和半监督训练中约束条件的不平衡 ， 使用基于两条对称支路的训练可能会导致收敛较慢的情况 。
4结束语
【产业气象站|AI研习丨专题：单图像深度学习去雨研究的最新进展文】现有对单图像深度学习去雨方法的研究主要集中在全监督模式上 ， 通过使用深度神经网络结合人工先验的方式 ， 对合成数据中雨纹（滴）的分布进行拟合 ， 训练出一个端到端的去雨网络 。 这些方法一方面无法利用真实图像数据进行训练 ， 另一方面也无法很好地泛化到真实去雨任务中 。 无监督和半监督的单图像深度学习去雨方法可以有效弥补这些不足 ， 但是由于可用的先验信息少 ， 因而研究难度更大 ， 关于此类研究工作目前还处于起步阶段 ， 相关方法还比较少 ， 未来还有很大的研究空间 。 此外 ， 单图像雨域和非雨域间的迁移学习、图像领域和视频领域去雨的迁移学习等将是未来图像去雨研究值得关注的一些方向 。


推荐阅读


上一篇：产业气象站|可云控投放恶意模块，木马程序借助“游民星空”等下载站再次传播

下一篇：燕赵都市报|后浪消费热起来，开启暑期模式