品品科技|2020 | 基于对抗一致性,非匹配图像转换效果真假难辨,ECCV( 二 )
文章图片
图3.ACL-GAN的模型框架
同时 , 图像转换任务中有些信息是我们希望完全不变的(如背景) 。 该方法采用注意力机制(attentionmechanism) , 令生成器同时生成注意力遮罩 , 区分前景和背景(0表示背景 , 1表示前景) 。 但现有的方法往往不限制遮罩的形态 , 本文作者提出Boundedfocusmask , 对注意力遮罩增加两种限制:1)每一个像素趋向于0/1 , 即明显划分前景和背景;2)前景的面积根据不同任务限制在特定范围 。 Boundedfocusmask可以帮助生成器集中精力在需要修改的区域 , 从而提高生成效果 。
文章图片
图4.Boundedfocusmask示例
3
实验结果
为说明每一部分loss的有效性 , 该工作进行了消融实验 , 结果如下(量化测试见原论文):
文章图片
图5.消融实验结果
其中ACL-GAN是有所有loss的模型;ACL-A是去掉ACLloss;ACL-I是去掉identityloss;ACL-M是去掉maskloss 。
虽然每一种模型都成功实现了性别转换 , 而且结果已经可以以假乱真 , 但仔细比较 , 我们仍然可以发现不同约束的作用 , 增强了该方法的可解释性 。 该实验结果符合分析:ACL-A的结果虽然成功转换 , 但生成图片和原图之间关联性不强 , 如发色、肤色、周围、牙齿等发生明显变化;ACL-I的结果视觉上差距不大 , 但量化指标略低于ACL-GAN;ACL-M的背景明显发生变化 , 图片质量也略低于ACL-GAN , 原因是mask可以帮助生成器将注意力集中在前景上 。
为了验证该方法在不同任务上的表现 , 作者在眼镜去除、性别转换和自拍到动漫转换三个任务上 , 与多个现有方法进行了比较 , 这三个方法对生成器的要求侧重各不相同 , 通过结果很明显可以看出来生成器完美胜任了这三个任务 , 而且规避了cycleloss的缺点 。
文章图片
【品品科技|2020 | 基于对抗一致性,非匹配图像转换效果真假难辨,ECCV】图6.眼镜去除任务比较
眼镜去除任务主要有两大难点:1)眼镜外的区域要求完全保留不变;2)眼镜隐藏的部分信息要合理的补充出来 , 如太阳镜完全遮住眼睛 。 可以看到 , ACL-GAN不仅成功完成上述任务 , 而且没有留下任何“作弊”的痕迹 。
文章图片
图7.性别转换任务比较
性别转换任务具有公认的三大难点:1)多模态变化 , 对于同一张输入 , 可以有多种输出对应;2)性别转换不仅要求改变颜色和纹理 , 还需要改变形状(如头发);3)配对的数据无法获得 。 即使面对这些难点 , ACL-GAN仍然很好的完成了该任务 , 无论是头发、胡须的变化 , 还是五官特征、背景的保留 , 都优于现有方法 。
文章图片
图8.自拍到动漫转换任务比较
自拍到动漫转换任务改变幅度最大 , 整张图片风格和主题都需要发生较大改变 。 ACL-GAN生成的结果自然 , 而且符合动漫人物的特征(如大眼睛、小嘴巴等) , 而且也与原图有更大的相关性 。
文章图片
图9.多种方法在不同任务上量化比较
为了进一步证明该方法的有效性 , 作者采用FID、KID指标量化评价三个任务上不同方法的表现 , ACL-GAN都取得了最优的成绩 , 大部分结果都远远优于采用cycleloss的方法 。
推荐阅读
- 站长之家|淘宝造物节发布2020创造力6大趋势:沙雕相关商品销量上涨200%
- 小红猪带你看科技|七夕节送女朋友必备左点小艾智能艾灸器X8,3天众筹500万
- 浪浪科技精选|超频三GI-CX240 ARGB水冷,极致性能冷酷到底
- ITheat热点科技|可搭载高规格显卡,AMD将发布新移动端处理器:开放完整PCIe通道
- 爱因儿科技|入侵盖茨、马斯克、巴菲特等名人推特账号的黑客被抓了!最小的17岁
- 小米科技|小米正式官宣以旧换新,支持小米10系列等5款机型,你等到了吗?
- 小米科技|数亿米粉始料未及!小米2日正式宣布,网友:太良心了!
- 科技数码迷|刘作虎终于拿起了屠刀,一加氢OS彻底与过去说再见
- 一点科技范|你更pick谁?,下半年最受期待的三大系列手机
- 科技章鱼烧|更换硬盘只需动动小手,装载系统和软件交给DiscWizard