一致性ECCV2020|基于对抗一致性，非匹配图像转换效果真假难辨( 二 )
图4. Bounded focus mask示例
3
实验结果
为说明每一部分loss的有效性 ， 该工作进行了消融实验 ， 结果如下（量化测试见原论文）：
本文插图
图5. 消融实验结果
其中ACL-GAN是有所有loss的模型；ACL-A是去掉ACL loss；ACL-I是去掉identity loss；ACL-M是去掉mask loss 。
虽然每一种模型都成功实现了性别转换 ， 而且结果已经可以以假乱真 ， 但仔细比较 ， 我们仍然可以发现不同约束的作用 ， 增强了该方法的可解释性 。 该实验结果符合分析：ACL-A 的结果虽然成功转换 ， 但生成图片和原图之间关联性不强 ， 如发色、肤色、周围、牙齿等发生明显变化；ACL-I 的结果视觉上差距不大 ， 但量化指标略低于 ACL-GAN；ACL-M 的背景明显发生变化 ， 图片质量也略低于 ACL-GAN ， 原因是 mask 可以帮助生成器将注意力集中在前景上 。
为了验证该方法在不同任务上的表现 ， 作者在眼镜去除、性别转换和自拍到动漫转换三个任务上 ， 与多个现有方法进行了比较 ， 这三个方法对生成器的要求侧重各不相同 ， 通过结果很明显可以看出来生成器完美胜任了这三个任务 ， 而且规避了 cycle loss 的缺点 。
本文插图
图6. 眼镜去除任务比较
眼镜去除任务主要有两大难点：1）眼镜外的区域要求完全保留不变；2）眼镜隐藏的部分信息要合理的补充出来 ， 如太阳镜完全遮住眼睛 。 可以看到 ， ACL-GAN 不仅成功完成上述任务 ， 而且没有留下任何“作弊”的痕迹 。
本文插图
图7. 性别转换任务比较
性别转换任务具有公认的三大难点：1）多模态变化 ， 对于同一张输入 ， 可以有多种输出对应；2）性别转换不仅要求改变颜色和纹理 ， 还需要改变形状（如头发）；3）配对的数据无法获得 。 即使面对这些难点 ， ACL-GAN 仍然很好的完成了该任务 ， 无论是头发、胡须的变化 ， 还是五官特征、背景的保留 ， 都优于现有方法 。
本文插图
图8. 自拍到动漫转换任务比较
自拍到动漫转换任务改变幅度最大 ， 整张图片风格和主题都需要发生较大改变 。 ACL-GAN 生成的结果自然 ， 而且符合动漫人物的特征（如大眼睛、小嘴巴等）， 而且也与原图有更大的相关性 。
本文插图
图9. 多种方法在不同任务上量化比较
为了进一步证明该方法的有效性 ， 作者采用 FID、KID 指标量化评价三个任务上不同方法的表现 ， ACL-GAN都取得了最优的成绩 ， 大部分结果都远远优于采用 cycle loss 的方法 。
本文插图
除此以外 ， 该方法的网络参数较小 ， 与大部分已有方法相当 。 ACL-GAN 的参数数量甚至不到表现相近方法（CouncilGAN、U-GAT-IT）的一半 。 具有较小的训练和存储开销 。
4
【一致性ECCV2020|基于对抗一致性，非匹配图像转换效果真假难辨】
推荐阅读
- 军事的第一线|基于77GHz毫米波FMCW雷达的2D-SAR成像（Matlab算法与实测数据）
- 环球时报|中国驻法使馆：不接受基于谎言的所谓“国际独立调查”
- 新疆生活|中国驻法使馆：不接受基于谎言的所谓“国际独立调查”
- ECCV2020 Oral | BorderDet用边界特征做检测
- 前沿追踪|基于TorchText的PyTorch文本分类
- 网上车市|基于宋MAX打造，比宋MAX更长/续航更远，比亚迪新e6将于年内发布
- |苹果ARM桌面处理器细节信息曝光：基于5nm工艺，面积比A13大40%
- 测的全要素检测而不仅仅是表面检测，妙微科技，基于工业机器视觉的场景数据库
- 超能网苹果ARM桌面处理器细节信息曝光：基于5nm工艺，面积比A13大40%
- 及时行乐|基于Promise实现对Ajax的简单封装