江苏龙网

  1. 首页 > 资讯 > 科技 > >

「变形金刚」ICLR 2020上，Transformers 有何新动向？( 三 )


Discriminator: 判断输入句子中的每个词是否被替换 ， 即使用Replaced Token Detection (RTD)预训练任务 ， 取代了BERT原始的Masked Language Model (MLM) 。 需要注意的是这里并没有使用Next Sentence Prediction (NSP)任务 。
在预训练阶段结束之后 ， 只使用Discriminator作为下游任务精调的基模型 。
换句话说 ， 作者们把CV领域的GAN运用到了自然语言处理 。
值得注意的是 ， 尽管与GAN的训练目标相似 ， 但仍存在一些关键差异 。 首先 ， 如果生成器碰巧生成了正确的token ， 则该token被视为“真实”而不是“伪造”；所以模型能够适度改善下游任务的结果 。 更重要的是 ， 生成器使用最大似然来训练 ， 而不是通过对抗性训练来欺骗判别器 。
5、新时代 ， 新任务
「变形金刚」ICLR 2020上，Transformers 有何新动向？
本文插图

论文：TabFact: A Large-scale Dataset for Table-based Fact Verification
链接：https://openreview.net/pdf?id=rkeJRhNYDH
这篇工作来自 UCSB 计算机科学系助理教授王威廉等人的研究 。 随着现在 Transformer 的性能与人类水平之间的差距越来越小 ， 许多经典的NLP数据集事实上已经过时了 。 因此 ， 若想更近一步研究 ， 就需要创建一个更具挑战性的新基准 。 在这种背景下 ， 作者提出了一个新的数据集 ， 用来解决以自然语言表达的基于事实的信息进行建模的问题 。
「变形金刚」ICLR 2020上，Transformers 有何新动向？
本文插图

Source: TabFact: A Large-scale Dataset for Table-based Fact Verification
数据集由Wikipedia的16k 的表和118k人工注释的语句组成 ， 这些语句带有ENTAILMENT或REFUTED标签来引用事实数据 。
目前这个任务的基准性能仍然处于中等水平 ， 仍然大有可为 。
6、加入现实世界知识
「变形金刚」ICLR 2020上，Transformers 有何新动向？
本文插图

论文：Pretrained Encyclopedia: Weakly Supervised Knowledge-Pretrained Language Model
链接：https://openreview.net/pdf?id=BJlzm64tDH
预训练语言模型的最新进展表明 ， 自监督学习对于多种自然语言处理（NLP）任务的有效性 。 除了标准的语法和语义NLP任务外 ， 预训练的模型还对涉及真实世界知识的任务进行了大幅度改进 ， 这表明大规模语言建模可能是捕获知识的隐式方法 。
「变形金刚」ICLR 2020上，Transformers 有何新动向？
本文插图

在这篇文章中 ， 作者提出了一个简单而有效的弱监督预训练目标 。 这个目标明确强迫模型纳入有关现实世界实体的知识 。 使用这个新目标训练的模型在「事实完成」（fact completion）任务上有较大改进 。 当应用于下游任务时 ， 他们的在多个任务（如问答、实体键入）上性能都优于BERT 。
三、应用 Transformer不仅与语言建模有关 ， 在一些相关问题上也有一些巧妙的应用 。
7、用BERT评估文本生成
「变形金刚」ICLR 2020上，Transformers 有何新动向？
本文插图

论文：BERTScore: Evaluating Text Generation with BERT
链接：https://openreview.net/pdf?id=SkeHuCVFDr
在松散定义的环境（即生成连贯的文本）下 ， 客观地测量生成质量 ， 具有很大的挑战性 。 传统上 ， BLUE分数作为文本相似性的代名词 ， 虽然被广泛应用（例如翻译、问答） ， 但在长文本生成任务中却显得不那么完美 。
「变形金刚」ICLR 2020上，Transformers 有何新动向？


推荐阅读


上一篇：#研发#我国新冠病毒灭活疫苗最先获得临床研究批件——疫苗研发与时间赛跑

下一篇：『生活爱记录』冬季出游好帮手，华为平板M5青春版入手正当时