新智元|两图生万物！这个超强图像转换神器，小样本一秒猫狗合体变新物种( 二 )

我们的框架由一个有条件的图像发生器G和一个多任务对抗性鉴别器D组成。
与现有无监督image-to-image translation框架中有条件的图像生成器不同，它们是将一张图像作为输入，而我们的生成器G需要同时将一张内容图像x和一组K类图像作为输入，生成输出图像xˉ ，公式如下：
实验结果：姿态和种类一起转换，超越基准模型
主要结果

本文插图

如表1所示， FUNIT框架在Animal Faces和North American Birds两个数据集的所有性能指标都优于用于小样本无监督图像到图像转换任务的基线模型。
FUNIT在Animal Faces数据集的1-shot和5-shot设置上分别达到82.36和96.05 的Top-5 测试精度，以及在North American Birds数据集上分别达到60.19和75.75的Top-5 测试精度。
这些指标都明显优于相应的基准模型。

本文插图

表1：FUNIT与基线模型的性能比较。表示数值越大越好，表示越小越好。
在图2中，我们对FUNIT-5计算的few-shot translation的结果进行了可视化。

本文插图

本文插图

本文插图

本文插图

图2：无监督图像-图像转换结果的可视化。计算结果采用FUNIT-5模型。
从上到下分别是来自动物面孔、鸟、花和食物数据集的结果。每个示例随机展示了2张目标类中的图像，输入内容图像x ，以及转换后的输出图像xˉ 。
结果表明，模型能够成功地将源类的图像转换为新的类中的相似图像。对象在输入内容图像x和相应输出图像xˉ中的姿态基本保持不变。输出图像也非常逼真，类似于目标类中的图像。
图3提供FUNIT与基线模型的结果比较。可以看到， FUNIT生成了高质量的图像转换输出。

本文插图

图3：小样本图像到图像转换效果的比较。
从左到右的列分别是输入内容图像x ，两个输入目标类图像y1 ， y2 ，来自不公平的StarGAN基线的转换结果，来自公平的StarGAN基线的转换结果，以及来自FUNIT框架的结果。
## 解决Content Loss问题
然而，上述论文中提出的框架在一个方面受到了限制。当模型应用于具有不同外观的对象时，如具有非常不同身体姿势的动物时，少数镜头翻译框架经常产生不满意的翻译输出。

本文插图

如上图所示，本应保持不变的领域不变的内容在翻译后消失了。作者将这个问题称为内容丢失（Content Loss）问题。
对此，本论文作者提出了一种新型的网络架构来解决内容丢失问题。通过设计一种称为content-conditioned style encoder的风格编码器，以阻止任务相关的外观信息传输到图像翻译过程中。

本文插图

与现有的风格编码器不同，风格代码是通过对输入内容图像进行调节来计算的。作者使用了一种新的架构设计来限制风格代码的变化。

新智元|两图生万物！这个超强图像转换神器，小样本一秒猫狗合体变新物种( 二 )

推荐阅读

有哪些“宿舍神器”?

软中华1字头2字头3字头有什么区别？

运势|8月开始财大气粗，运势一顺百顺，处处遇贵人的四大生肖

『新车消息收纳箱』这才是最美SUV，仅售5.78w，幸亏年前没冲动买车，再等3天上市

bittersweetai|AJ4刺子绣，来了！，又一双刺子绣

骑车人|加塞不成变“路怒” 男子变道抢行撞伤两人

清华“学霸”紮根梅州深山山村支教点亮山区孩子梦想

十分活泼的落寞|不会让他人难堪，总是设身处地的三个生肖，喜欢与人为善

扬眼|长江1号洪峰汹涌而来！长江镇江段连续三天超过警戒水位

热门搜罗锦集|怎么还睡到车的引擎盖上了，幽默笑话：妹子这是怎么了

宋慧乔：将来有可能成为国家级老戏骨六大年轻男演员，朱亚文排第三，第一实至名归

《辛德勒的名单》被差评围攻！官媒的批评一针见血

翡翠|干青是翡翠吗？值得入手吗？

虎扑|佐拉：切赫现在依然能够凭借经验和能力拿出高水平的表现

糖胖健康|膳食纤维丰富的食物，促进肠道健康，远离“富贵病”

交易|贵州三力拟收购两家药企不超过51%股权

如何用感官辨别红茶的好坏

[收治]应收尽收科学施治，火神山医院收治患者突破900人

『中国移动』中国移动低端交换机开标：华为、烽火等中标

冰红茶可以喝吗,冰红茶含有有害成分吗