江苏龙网

  1. 首页 > 资讯 > 科技 > >

AI科技评论TB@大规模计算时代：深度生成模型何去何从( 四 )



AI科技评论TB@大规模计算时代：深度生成模型何去何从
本文插图

图4：（a）句子类比生成；（b）句子插补 。 蓝色表示生成的句子 。
低资源下的语言理解----与BERT相比 ， Optimus学习的特征空间更平滑 ， 特征模式更分离（请参见图4a和4b） 。 在冻结主干网络且仅更新分类器的微调设定下（feature-based setting）, Optimus能够比BERT获得更好的分类性能和更快的适应性 ， 因为它允许Optimus维护和利用到在预训练中学习到的语义结构 。 图4c显示了在Yelp数据集上每个类别带有不同数量的标记样本的结果 ， Optimus在低计算场景（feature-based setting）中显示了更好的结果 。 我们在GLUE数据集上可以观察到类似的比较 。

AI科技评论TB@大规模计算时代：深度生成模型何去何从
本文插图

图5：（a）和（b）分别展示了使用tSNE对Optimus和BERT进行特征空间可视化的结果 。 具有不同标签的句子以不同的颜色呈现 。 （c）不同数量的带有标签数据的结果
感兴趣更多详细结果 ， 请查看我们的论文 ， 在Github上试试Optimus的代码 。
2、FQ-GAN: 图像生成中的挑战
Generative Adversarial Networks （GAN）是一种流行的图像生成模型 。 它由两个网络组成：一个用于直接合成模拟样本的生成器(generator) ， 以及一个用于区分真实样本 和伪样本的鉴别器(discriminator) 。 GAN以对抗的方式训练这两个网络 ， 以便伪造的数据分布可以匹配真实的数据分布 。
特征匹配 ( Feature matching ) 一项有理论支撑的训练GAN的原理技术, 它将GAN的数据分布匹配问题转换为鉴别器特征空间中的特征分布匹配问题 。 这要求从整体伪造样本和整体真实样本中算得的特征统计量要相似 ， 比如 ， 一阶或二阶矩 。 但实际实现上 ， 这些特征统计量是使用连续特征空间中的小批量数据（mini-batch）来估计的 。 随着数据集变得更大和更复杂（例如 ， 更高的分辨率） ， 基于小批量的估计质量变得很差 。 因为在固定大小的批量去估计更大的数据集 ， 估计方差很大 。 对于GAN来说 ， 这个问题尤为严重 ， 因为生成器的伪造样本分布在训练中总是在变化 ， 这对于大规模扩展GAN模型提出了新的挑战 。
为解决此问题 ， 我们在论文“Feature Quantization Improves GAN Training”中提出了鉴别器的特征量化（FQ）的技术 ， 将特征表示量化在一个字典空间里 ， 而非它原来的连续空间 。 FQ-GAN的神经网络架构如图6a所示 。 相比较于原来的GAN模型 ，我们仅仅需要把FQ作为一个新的层 ， 嵌入到区分器中某一层或者多层 。 FQ-GAN将原来的连续特征限制在一组学习好的字典的元素上；而这里的字典元素 ， 则一直代表着当前真假样本最具代表性的特征 。
由于真假样本只能从有限的词典元素中选择其表示形式 ， 因此FQ-GAN间接执行特征匹配 。 这可以使用图6b中的可视化示例进行说明 ， 其中将真实样本特征 和伪样本特征 量化为相同的质心（在此示例中 ， 真假特征最后都量化到了和它们颜色一致的中心值了） 。 我们使用移动平均值更新（moving average updates）来实现不断更新的字典， 使得该字典 确保包含一组与当前真假样本特征一致的元素 。

AI科技评论TB@大规模计算时代：深度生成模型何去何从
本文插图

图6：（a）FQ-GAN架构：我们的FQ可以作为标准GAN区分器中的新层来添加进去 。 （b）用字典查找来实现隐式特征匹配 。 相同颜色的小散点们表示可以量化为相同中心（大圆圈）的连续特征；在经过FQ之后 ， 真实特征（正方形）和伪特征（三角形）会共享相同的中心 。
我们所提出的FQ技术可以轻松地应用到现有的GAN模型中 ， 且在训练中的计算开销却很小 。 大量的实验结果表明 ， FQ-GAN可以在各种任务上大幅度提高基线方法的图像生成质量 ， 我们尝试了在9个基准数据集上的3个代表性GAN模型：


推荐阅读


上一篇：#数码课代表#OPPO Ace2这块屏幕不简单，惊喜不止90Hz刷新率！

下一篇：亚马逊公司■像亚马逊这样的巨头电商平台，通过哪些渠道如何为自己获得更多的流量？