江苏龙网

  1. 首页 > 资讯 > 科技 > >

|英伟达开源「Imaginaire」：九大图像及视频合成方法( 二 )


本文插图

论文地址：https://arxiv.org/abs/1703.00848
UNIT（Unsupervised image-to-image translation）旨在通过使用来自单个域中边缘分布的图像来学习不同域中图像的联合分布 。 由于要达到给定的边缘分布需要一个联合分布的无限集 ， 因此如果没有其他假设 ， 就无法从边缘分布推断联合分布 。 为了解决这个问题 ， 研究者提出了一个共享潜在空间的假设 ， 并提出了一个基于耦合 GAN 的无监督图像到图像转换框架 。
MUNIT
无监督图像到图像转换是计算机视觉领域一个重要而富有挑战的问题：给定源域（source domain）中的一张图像 ， 需要在没有任何配对图像数据的情况下 ， 学习出目标域（target domain）中其对应图像的条件分布 。 虽然条件分布是多模态的 ， 但此前方法都引入了过于简化的假设 ， 而将其作为一个确定性的一对一映射 ， 因此无法在特定的源域图像中生成富有多样性的输出结果 。
项目地址：https://github.com/NVlabs/imaginaire/tree/master/projects/munit
|英伟达开源「Imaginaire」：九大图像及视频合成方法
本文插图

论文地址：https://arxiv.org/abs/1804.04732
在这篇论文中 ， 康奈尔大学和英伟达的研究者提出了多模态无监督图像到图像转换 MUNT 框架 。 研究者假设 ， 图像表征可以分解为一个具有域不变性（domain-invariant）的内容码（content code）和一个能刻画域特有性质的风格码（style code） 。 为了将图像转化到另一个域中 ， 研究者将：1. 原图像的内容码 ， 2. 从目标域中随机抽取的某个风格码 进行重组 ， 并分析了 MUNT 框架 ， 并建立了相应的理论结果 。 大量实验表明 ， 将 MUNT 与其他 SOTA 方法相比具备优越性 。 最后 ， 通过引入一个风格图像（style image）样例 ， 使用者可以利用 MUNT 来控制转化的输出风格 。
FUNIT
项目地址：https://github.com/NVlabs/imaginaire/tree/master/projects/funit
|英伟达开源「Imaginaire」：九大图像及视频合成方法
本文插图

论文地址：https://arxiv.org/abs/1905.01723
虽然此前无监督图像到图像转换算法在很多方面都非常成功 ， 尤其是跨图像类别的复杂外观转换 ， 但根据先验知识从新一类少量样本中进行泛化的能力依然无法做到 。 具体来说 ， 如果模型需要在某些类别上执行图像转换 ， 那么这些算法需要所有类别的大量图像作为训练集 。 也就是说 ， 它们不支持 few-shot 泛化 。 总体而言有以下两方面的限制：
其一 ， 这些方法通常需要在训练时看到目标类的大量图像；
其二 ， 用于一个转换任务的训练模型在测试时无法应用于另一个转换任务 。
在这篇论文中 ， 英伟达的研究者提出一种 Few-shot 无监督图像到图像转换（FUNIT）框架 。 该框架旨在学习一种新颖的图像到图像转换模型 ， 从而利用目标类的少量图像将源类图像映射到目标类图像 。 也就是说 ， 该模型在训练阶段从未看过目标类图像 ， 却被要求在测试时生成一些目标类图像 。
COCO-FUNIT
项目地址：https://github.com/NVlabs/imaginaire/tree/master/projects/coco_funit
|英伟达开源「Imaginaire」：九大图像及视频合成方法
本文插图

论文地址：https://nvlabs.github.io/COCO-FUNIT/paper.pdf
COCO-FUNIT 之前的图像到图像变换模型在模拟不可见域的外观时很难保留输入图像的结构 ， 这被称为内容丢失问题 。 当输入图像和示例图像中对象的姿势有较大差异时 ， 这个问题尤其严重 。 为了解决这个问题 ， 研究者提出了一种新的 few-shot 的图像变换模型 ， 即 COCO-FUNIT 。


推荐阅读


上一篇：|什么时候应该升级你的相机？

下一篇：|PyTorch版YOLOv4更新了，适用于自定义数据集