江苏龙网

  1. 首页 > 人文 > >

盘点准时播|2020京东入选论文深度解析，京东AI写作能力超过人类表现，AAAI( 二 )


（1）多任务学习
文本摘要任务和关键词提取任务在某种意义上非常相似 ， 都是为了提取输入文本中的关键信息 。 不同点在于其输出的形式：文本摘要任务输出的是一段完整的文本 ， 而关键词提取任务输出的是关键词的集合 。 我们认为这两个任务均需要编码器能够识别出输入文本中的重要信息的能力 。 因此 ， 我们利用多任务学习框架 ， 共享这两个任务编码器 ， 提升编码器的性能 。
（2）基于关键词指导的摘要生成模型
我们受Zhou等人工作[1]的启发 ， 提出了一种基于关键词指导的选择性编码 。 具体来说 ， 由于关键词含有较为重要的信息 ， 通过关键词的指导 ， 我们构建一个选择门网络 ， 其对输入文本的隐层语义信息进行二次编码 ， 构造出一个新的隐层 。 基于这个新的隐层进行后续的解码 。
我们的解码器基于Pointer-Generator网络[2] ， 即融合了复制机制的端到端模型 。 对于Generator模块 ， 我们提出直连、门融合和层次化融合的方式对原始输入文本和关键词的上下文信息进行融合；对于Pointer模块 ， 我们的模型可以选择性地将原始输入和关键词中的文本复制到输出摘要中 。
3、实验与分析
（1）数据集
在本次实验中 ， 我们选择在Gigaword数据集上进行实验 ， 该数据集包含约380万个训练句子摘要对 。 我们使用了8000对作为验证集 ， 2000对作为测试集 。
（2）实验结果
表1显示了我们提出的模型比没有关键词指导的模型表现更好 。 我们测试了不同的选择性编码机制 ， 分别是输入文本的自选择 ， 关键词选择和互选择 ， 实验结果显示互选择的效果最佳；对于Generator模块 ， 我们发现层次化融合的方式要优于其他两种融合方式；我们的双向Pointer模块比原始的仅能从输入文本中复制的模型表现更好 。
盘点准时播|2020京东入选论文深度解析，京东AI写作能力超过人类表现，AAAI
文章图片
4、总结
本文致力于生成式句子摘要的任务 ， 即如何将一个长句子转换成一个简短的摘要 。 我们提出的模型可以利用关键词作为指导 ， 生成更加优质的摘要 ， 获得了比对比模型更好的效果 。
1）通过采用了多任务学习框架来提取关键词和生成摘要；
2）通过基于关键字的选择性编码策略 ， 在编码过程中获取重要的信息；
3）通过双重注意力机制 ， 动态地融合了原始输入句子和关键词的信息；
4）通过双重复制机制 ， 将原始输入句子和关键词中的单词复制到输出摘要中 。
在标准句子摘要数据集上 ， 我们验证了关键词对句子摘要任务的有效性 。
注释：
[1]Zhou,Q.;Yang,N.;Wei,F.;andZhou,M.2017.Selectiveencodingforabstractivesentencesummarization.InProceedingsofACL,1095–1104.
[2]See,A.;Liu,P.J.;andManning,C.D.2017.Gettothepoint:Summarizationwithpointer-generatornetworks.InProceedingsofACL,1073–1083.
关于京东AI研究院
【盘点准时播|2020京东入选论文深度解析，京东AI写作能力超过人类表现，AAAI】京东AI研究院专注于持续性的算法创新 ， 多数研究将由京东实际的业务场景需求为驱动 ， 聚焦领域涵盖：计算机视觉、自然语言理解、对话、语音、语义、机器学习 ， 已逐步在北京、南京、成都、硅谷等全球各地设立职场 。


推荐阅读


上一篇：甜萌影视|为啥成了全网娱乐事件？腾讯自己引导的，腾讯PK老干妈

下一篇：科创板日报|R16标准 多条热门赛道迎来成果落地契机，3GPP宣布冻结5G