品品科技|2020 | 基于对抗一致性，非匹配图像转换效果真假难辨，ECCV 本文介绍的是ECCV2020论文《UnpairedIm

文章图片
本文介绍的是ECCV2020论文《UnpairedImage-to-ImageTranslationusingAdversarialConsistencyLoss》，论文作者来自北大。本论文解读首发于知乎（https://zhuanlan.zhihu.com/p/156092551）。
作者|HyperplanePKU
编辑|丛末

文章图片
论文地址：https://arxiv.org/abs/2003.04858
1
问题引入
在图像处理、图形学和计算机视觉中有大量问题是将一个图片域的图片转换到另一个图片域，比如前一阵刷屏朋友圈的换脸应用。这种问题可以统称为图像到图像转换（image-to-imagetranslation）[1] 。目前基于深度学习，特别是生成对抗网络（generativeadversarialnetworks,GANs）[2]的方法在图像到图像转换中取得了很大的进步。
然而，目前的主流方法有若干局限性，导致不能支持很多应用。其中最大的一个局限性是目前的主流方法基于循环一致性损失（cycleconsistencyloss ，以下简称cycleloss）[2] 。 Cycleloss缺陷的主要原因在于其要求转换回来的图片要和原图完全一致（图2右侧

文章图片
，

文章图片
），而这对于很多任务是不现实的。比如单纯看到图1的期望结果，让我们去画一个眼镜，显然有无数种情况，对于生成器也是如此。再比如性别转换时胡须、头发的变化等等，这类问题都具有不可逆的特性。当cycleloss尝试解决这类问题时，就必须“作弊”在图片中留下痕迹或减小变化，也就导致了结果的不真实（图1CycleGAN）。

文章图片
图1.眼镜去除的例子
今天介绍一篇ECCV2020上最新的工作ACL-GAN ，提出从数据分布角度约束不可逆图像转换过程，主要解决了以下问题：
规避了cycleloss的缺点；
转换后图像与原图具有相关性；
对于同一张输入，可以输出合理高质量的多模态输出；
利用较少的网络参数，降低了训练和使用成本。
该方法生成的图片令人难辨真假，而且在量化评价上，也超过现有方法，成为state-of-the-art 。
2
方法简介

文章图片
图2.ACLloss（左）和cycleloss（右）的对比
ACL-GAN为了规避生成器“作弊”留下眼镜痕迹，并不限制点到点的相同，而是将各种眼镜统统纳入怀中。为了允许不同细节的图片都被认为和原图相同，该方法将原图

文章图片
、转换的图片

文章图片
、还原图片

文章图片
都扩充成分布（如图3中的眼镜款式具有多样性），利用判别器拉近原图邻域和还原图片分布的距离。本文利用一致性判别器促使生成器拉近上述分布。为了保证图片与原图具有相关性，该方法同时将原图输入给一致性判别器，作为其判断的依据。这样，生成器就可以大胆的把眼镜完全去掉，从而得到更高质量的转换结果。

品品科技|2020 | 基于对抗一致性，非匹配图像转换效果真假难辨，ECCV

推荐阅读

名韵世家|明星同款儿童房，你值得拥有！

股票|距征求意见仅1个月，券商分类评级新规落地！2019券商经营业绩排名同天出炉，业务收入加分初见分晓

傅火狐说体育|这些球员曾经也是一个酒鬼，酒精是个坏东西

环球时报热点|外媒称苹果等美国公司呼吁停止微信禁令：将严重削弱美企

我爱我的娱乐圈|老穆小未才是人间真爱，《爱我就别想太多》：被忽视的1对恋人

[支付宝]3月支付宝在线挂号量增长162%，这三个科室最火爆

科特迪瓦中国抗疫医疗专家组考察科特迪瓦新冠患者定点收治医院

英国考文垂大学课程设置及录取要求简述

蚂蚁电竞ANT27VQ电竞显示器开箱体验：超高色域，豪华配置

萌娃哭诉名字太难写想叫小花■可爱萌娃哭诉名字太难写想叫小花众网友评论亮了

格力电器被中国移动取消中标资格|格力电器被中国移动取消中标资格这是什么情况？

王者十点半各路都有人才出，玩不明白射手照样蹭蹭上分，S19分路特征显著

天天汽车|第十代索纳塔的“必杀技”在哪？，正面叫板雅阁

『SUV』这款SUV上市又要火！标配1.5T+LED灯，仅9万起，哈弗H6突然不香了

春尖和毛尖有什么区别,喝茶和品茶有什么区别没有

「猫藓」猫藓到底难不难治

中国新闻网|淡季不淡，牛肉价格连续10周上涨，为啥？

女生怎样瘦臀部，肚子，和大腿好急

财务管理是干什么的

阿拉斯加说电影▲两人同穿一件“茄子裙”，谁更时尚一目了然，沈梦辰吴昕成功撞衫