品品科技|2020 | 基于对抗一致性,非匹配图像转换效果真假难辨,ECCV( 二 )


文章图片
图3.ACL-GAN的模型框架
同时 , 图像转换任务中有些信息是我们希望完全不变的(如背景) 。 该方法采用注意力机制(attentionmechanism) , 令生成器同时生成注意力遮罩 , 区分前景和背景(0表示背景 , 1表示前景) 。 但现有的方法往往不限制遮罩的形态 , 本文作者提出Boundedfocusmask , 对注意力遮罩增加两种限制:1)每一个像素趋向于0/1 , 即明显划分前景和背景;2)前景的面积根据不同任务限制在特定范围 。 Boundedfocusmask可以帮助生成器集中精力在需要修改的区域 , 从而提高生成效果 。
品品科技|2020 | 基于对抗一致性,非匹配图像转换效果真假难辨,ECCV
文章图片
图4.Boundedfocusmask示例
3
实验结果
为说明每一部分loss的有效性 , 该工作进行了消融实验 , 结果如下(量化测试见原论文):
品品科技|2020 | 基于对抗一致性,非匹配图像转换效果真假难辨,ECCV
文章图片
图5.消融实验结果
其中ACL-GAN是有所有loss的模型;ACL-A是去掉ACLloss;ACL-I是去掉identityloss;ACL-M是去掉maskloss 。
虽然每一种模型都成功实现了性别转换 , 而且结果已经可以以假乱真 , 但仔细比较 , 我们仍然可以发现不同约束的作用 , 增强了该方法的可解释性 。 该实验结果符合分析:ACL-A的结果虽然成功转换 , 但生成图片和原图之间关联性不强 , 如发色、肤色、周围、牙齿等发生明显变化;ACL-I的结果视觉上差距不大 , 但量化指标略低于ACL-GAN;ACL-M的背景明显发生变化 , 图片质量也略低于ACL-GAN , 原因是mask可以帮助生成器将注意力集中在前景上 。
为了验证该方法在不同任务上的表现 , 作者在眼镜去除、性别转换和自拍到动漫转换三个任务上 , 与多个现有方法进行了比较 , 这三个方法对生成器的要求侧重各不相同 , 通过结果很明显可以看出来生成器完美胜任了这三个任务 , 而且规避了cycleloss的缺点 。
品品科技|2020 | 基于对抗一致性,非匹配图像转换效果真假难辨,ECCV
文章图片
【品品科技|2020 | 基于对抗一致性,非匹配图像转换效果真假难辨,ECCV】图6.眼镜去除任务比较
眼镜去除任务主要有两大难点:1)眼镜外的区域要求完全保留不变;2)眼镜隐藏的部分信息要合理的补充出来 , 如太阳镜完全遮住眼睛 。 可以看到 , ACL-GAN不仅成功完成上述任务 , 而且没有留下任何“作弊”的痕迹 。
品品科技|2020 | 基于对抗一致性,非匹配图像转换效果真假难辨,ECCV
文章图片
图7.性别转换任务比较
性别转换任务具有公认的三大难点:1)多模态变化 , 对于同一张输入 , 可以有多种输出对应;2)性别转换不仅要求改变颜色和纹理 , 还需要改变形状(如头发);3)配对的数据无法获得 。 即使面对这些难点 , ACL-GAN仍然很好的完成了该任务 , 无论是头发、胡须的变化 , 还是五官特征、背景的保留 , 都优于现有方法 。
品品科技|2020 | 基于对抗一致性,非匹配图像转换效果真假难辨,ECCV
文章图片
图8.自拍到动漫转换任务比较
自拍到动漫转换任务改变幅度最大 , 整张图片风格和主题都需要发生较大改变 。 ACL-GAN生成的结果自然 , 而且符合动漫人物的特征(如大眼睛、小嘴巴等) , 而且也与原图有更大的相关性 。
品品科技|2020 | 基于对抗一致性,非匹配图像转换效果真假难辨,ECCV
文章图片
图9.多种方法在不同任务上量化比较
为了进一步证明该方法的有效性 , 作者采用FID、KID指标量化评价三个任务上不同方法的表现 , ACL-GAN都取得了最优的成绩 , 大部分结果都远远优于采用cycleloss的方法 。


推荐阅读