【机器之心】人脸合成效果媲美StyleGAN，而它是个自编码器
机器之心报道
参与：魔王
自编码器（AE）与生成对抗网络（GAN）是复杂分布上无监督学习最具前景的两类方法 ， 它们也经常被拿来比较 。 人们通常认为自编码器在图像生成上的应用范围比 GAN 窄 ， 那么自编码器到底能不能具备与 GAN 同等的生成能力呢？这篇研究提出的新型自编码器 ALAE 可以给你答案 。 目前 ， 该论文已被 CVPR 2020 会议接收 。
论文地址：https://arxiv.org/pdf/2004.04467.pdf
GitHub 地址：https://github.com/podgorskiy/ALAE
自编码器是一种无监督方法 ， 它通过同时学习编码器-生成器图将「生成性」和「表征性」结合起来 。 关于自编码器有两个疑问尚未得到解决：
自编码器是否具备和 GAN 同等的生成能力？
自编码器能否学习解耦表征（disentangled representation）？
最近 ， 来自美国西弗吉尼亚大学的研究者提出一种新型自编码器 Adversarial Latent Autoencoder (ALAE) ， 试图解决以上问题 。 ALAE 是一个通用架构 ， 它能够利用近期 GAN 在训练方面的改进 。 研究者表示 ALAE 具备与 GAN 相当的生成能力 ， 且能够学习解耦表征 。
利用 ALAE 通用架构 ， 该研究设计了两个自编码器：一种基于 MLP 编码器 ， 另一种基于 StyleGAN 生成器 ， 即 StyleALAE 。
研究者对这两个架构的解耦能力进行了验证 ， 发现 StyleALAE 不仅能够生成与 StyleGAN 生成质量相当的 1024x1024 人脸图像 ， 在同样分辨率条件下 ， 它还可以基于真实图像生成人脸重建和操纵结果 。
研究者认为 ， ALAE 是首个性能匹配甚至超过生成器架构的自编码器 。
ALAE 到底效果如何呢？我们来看展示图：
本文插图
【【机器之心】人脸合成效果媲美StyleGAN，而它是个自编码器】
本文插图
本文插图
StyleALAE 的风格混合效果 。
感兴趣的读者可以自己运行 demo ， 不过你需要 CUDA capable GPU、v1.3.1 及以上版本的 PyTorch 和 cuda/cuDNN 驱动 ， 详情参见 GitHub 地址 。
新型通用自编码器 ALAE
研究者观察到每个 AE 方法都使用同样的假设：潜在空间的概率分布应与先验相关 ， 自编码器应该与之匹配 。 而 StyleGAN 相关论文证明 ， 中间潜在空间应当具备更好的解耦能力 。
于是研究者通过修改原始 GAN 范式设计了一种新型 AE 架构：
允许基于数据学得的潜在分布解决耦合问题 (A) ， 并使用对抗策略学习输出数据分布 (B) ， 以保留 GAN 的生成能力；为了实现 (A) 和 (B) ， 该研究提出将 AE reciprocity 置于潜在空间中 (C) ， 以避免使用在数据空间中运行的基于简单 l_2 范数的重建损失（对于图像空间来说它们通常是次优选择） 。
如下图 1 所示 ， 研究者将生成器 G 和判别器 D 分别分解成两个网络：F、G 和 E、D 。
本文插图
图 1：ALAE 架构 。
此外 ， 研究者还展示了 ALAE 与其他自编码器的关联 ， 详见下表：
本文插图
StyleALAE
研究者使用 ALAE 构建了一个自编码器 ， 该自编码器使用的是基于 StyleGAN 的生成器 。 具体架构如下图 2 所示：
推荐阅读
- 带你吃瓜做个无情的尖叫机器啊啊——任嘉伦《琵琶行》造型大片抢先看，200505
- 军人驿站国际观察俄土科技差距显露无疑，美称此战可载入史册，叙利亚爆发机器人大战
- 松鼠军评俄土科技差距显露无疑，美称此战载入史册，叙利亚爆发机器人大战
- 埃尔法哥哥还可以做扫地机器人啊，自动驾驶不做了
- 界面新闻MIT：美国制造业每多1个机器人，平均取代3.3名工人
- 读懂新金融营销、城市、机器人、养牛养鱼……新型科技公司的十八般武艺
- 掘金界金融安防市场规模或超千亿，关注3股，首个人脸识别国际标准发布
- 极客公园机器人大爆发的时代来了？风口上的优必选说要「保持冷静」
- 15个最流行的GitHub机器学习项目
- 上观新闻疫情不改发展进程 协同创新推动“智造”加速跑，“机器人”核心部件实现自主研发