江苏龙网

  1. 首页 > 资讯 > 科技 > >

「机器之心」人脸合成效果媲美StyleGAN，而它是个自编码器


机器之心报道
参与：魔王
自编码器（AE）与生成对抗网络（GAN）是复杂分布上无监督学习最具前景的两类方法 ， 它们也经常被拿来比较 。 人们通常认为自编码器在图像生成上的应用范围比 GAN 窄 ， 那么自编码器到底能不能具备与 GAN 同等的生成能力呢？这篇研究提出的新型自编码器 ALAE 可以给你答案 。 目前 ， 该论文已被 CVPR 2020 会议接收 。
论文地址：https://arxiv.org/pdf/2004.04467.pdf
GitHub 地址：https://github.com/podgorskiy/ALAE
自编码器是一种无监督方法 ， 它通过同时学习编码器-生成器图将「生成性」和「表征性」结合起来 。 关于自编码器有两个疑问尚未得到解决：
自编码器是否具备和 GAN 同等的生成能力？
自编码器能否学习解耦表征（disentangled representation）？
最近 ， 来自美国西弗吉尼亚大学的研究者提出一种新型自编码器 Adversarial Latent Autoencoder (ALAE) ， 试图解决以上问题 。 ALAE 是一个通用架构 ， 它能够利用近期 GAN 在训练方面的改进 。 研究者表示 ALAE 具备与 GAN 相当的生成能力 ， 且能够学习解耦表征 。
利用 ALAE 通用架构 ， 该研究设计了两个自编码器：一种基于 MLP 编码器 ， 另一种基于 StyleGAN 生成器 ， 即 StyleALAE 。
研究者对这两个架构的解耦能力进行了验证 ， 发现 StyleALAE 不仅能够生成与 StyleGAN 生成质量相当的 1024x1024 人脸图像 ， 在同样分辨率条件下 ， 它还可以基于真实图像生成人脸重建和操纵结果 。
研究者认为 ， ALAE 是首个性能匹配甚至超过生成器架构的自编码器 。
ALAE 到底效果如何呢？我们来看展示图：
「机器之心」人脸合成效果媲美StyleGAN，而它是个自编码器
本文插图

「机器之心」人脸合成效果媲美StyleGAN，而它是个自编码器
本文插图

「机器之心」人脸合成效果媲美StyleGAN，而它是个自编码器
本文插图

StyleALAE 的风格混合效果 。
感兴趣的读者可以自己运行 demo ， 不过你需要 CUDA capable GPU、v1.3.1 及以上版本的 PyTorch 和 cuda/cuDNN 驱动 ， 详情参见 GitHub 地址 。
新型通用自编码器 ALAE
研究者观察到每个 AE 方法都使用同样的假设：潜在空间的概率分布应与先验相关 ， 自编码器应该与之匹配 。 而 StyleGAN 相关论文证明 ， 中间潜在空间应当具备更好的解耦能力 。
于是研究者通过修改原始 GAN 范式设计了一种新型 AE 架构：
允许基于数据学得的潜在分布解决耦合问题 (A) ， 并使用对抗策略学习输出数据分布 (B) ， 以保留 GAN 的生成能力；为了实现 (A) 和 (B) ， 该研究提出将 AE reciprocity 置于潜在空间中 (C) ， 以避免使用在数据空间中运行的基于简单 l_2 范数的重建损失（对于图像空间来说它们通常是次优选择） 。
如下图 1 所示 ， 研究者将生成器 G 和判别器 D 分别分解成两个网络：F、G 和 E、D 。
「机器之心」人脸合成效果媲美StyleGAN，而它是个自编码器
本文插图

图 1：ALAE 架构 。
此外 ， 研究者还展示了 ALAE 与其他自编码器的关联 ， 详见下表：
「机器之心」人脸合成效果媲美StyleGAN，而它是个自编码器
本文插图

StyleALAE
研究者使用 ALAE 构建了一个自编码器 ， 该自编码器使用的是基于 StyleGAN 的生成器 。 具体架构如下图 2 所示：
「机器之心」人脸合成效果媲美StyleGAN，而它是个自编码器
本文插图

图 2：StyleALAE 架构 。 StyleALAE 编码器中的实例归一化（IN）层用来提取多尺度风格信息 ， 并通过可学习的多重线性映射（multilinear map）将它们组合成为一个潜在代码 w 。


推荐阅读


上一篇：「技宅空格」小米 10 青春版前瞻：2000 多元的中端拍照机

下一篇：当当网■当当网发声明：李国庆抢走的公章、财务章等即日作废 公司已报警