江苏龙网

  1. 首页 > 资讯 > 科技 > >

|基于图神经网络的知识图谱研究进展( 二 )


经典的翻译系列模型在知识表示和推理的问题上显示出强大的学习能力 ， 例如图1（a）中 ， TransE(Translating Embedding)[14]提出头实体的向量表示加上关系的向量表示 ， 应当等于尾实体的向量表示 ， 通过这种约束 ， TransE学得了实体之间丰富的语义关系 。 Cai等人[15]将翻译系列模型的思想引入到了GCN[7]中 ， 提出了TransGCN（如图1(b)所示） ， 综合了TransE模型和图神经网络的优点 。 考虑到知识图谱中的关系具有不同种类的特点 ， 关系图卷积网络(R-GCN)[10] 使用关系特定的变换矩阵扩展了GCN ， 如图1(c) 所示 ， 并且为了缓解由于关系种类过于丰富而导致的参数量巨大的问题 ， 提出了基分解和块对角分解两种正则化策略 。 当出现知识库之外的实体时 ， 一种思路是利用相关的实体和关系学习新实体的表示 ， 例如滨口(Hamaguchi)等人[16]提出使用图神经网络利用邻实体和对应的关系获得新实体的表示 ， 并针对知识图谱的特点 ， 为图神经网络提出了新的传播模型；Wang等人[17]进一步改进了传播模型 ， 即逻辑注意力网络(Logic Attention Network ， LAN) ， 以考虑实体邻域的无序性和不平等性质 ， 从而更好地学习实体和对应的邻实体之间的关系 。 与以上研究不同的是 ， Hu等人提出了一种利用实体描述作为辅助文本的知识图谱表示学习方法Teger ， 如图1(d) 所示 ， 它一方面利用GCN对辅助文本中的局部语义关系和长距离语义关系进行编码 ， 另一方面基于TransE学得知识图谱的结构信息 ， 从而通过结合两种途径得到了更精确的实体表示 。 GENI(GNN for Estimating Node Importance)[18]为了估计知识图谱中实体的重要性 ， 提出了邻实体的重要性分数（而不是邻实体的特征）对中心实体的重要性评估起主要作用的观点 ， 因此设计了预测感知的注意力机制和灵活的中心性调整策略 ， 使重要性分数进行传播 ， 而非实体表示 。
|基于图神经网络的知识图谱研究进展
本文插图

信息抽取
信息抽取是指从非结构化、半结构化文档或句子中提取结构化信息的技术 ， 与知识图谱的构建有着密切的联系 ， 主要包括命名实体识别、实体消歧、关系抽取、指代消解等任务 。 近年来 ， 已有许多研究将图神经网络应用于知识图谱的关系抽取任务 ， 而在其他任务上对图神经网络的探索还较少 。 通过图神经网络可以对句子内或句间词与词的关联关系进行有效建模 ， 从而更准确地捕捉实体间的关系 。
关系抽取 ， 即从文本中识别抽取实体对之间的语义关系 。 例如 ， 从句子“[贾玲] ， 80后相声新秀 ， 师承中国著名相声表演艺术家[冯巩]”中识别出实体“[贾玲]”和“[冯巩]”之间具有“师生”关系 。 在关系抽取中 ， 许多工作基于句子的依赖树使用GCN对词之间的依赖关系进行编码 ， 或基于知识图谱表示进行句子编码 ， 从而预测关系类别 。 如图2(a) 所示 ， C-GCN(Contextualized GCN)[19]是一种基于上下文的GCN模型 ， 该模型将句子的依赖树进行剪枝 ， 只保留与实体对的依赖关系路径部分；基于注意力的图卷积网络(Attention Guided Graph Convolutional Network ， AGGCN)[20]也在句子的依赖树上使用GCN模型 ， 但采用了多头注意力机制以一种软加权的方式对边（依赖关系）进行选择 ， 如图2(b)所示；与之前两个基于依赖树的模型不同 ， Zhang等人[21]将GCN用于编码关系的层次结构 ， 提出了一种由粗到细粒度的知识感知注意机制以提高关系抽取的效果 ， 如图2(c)所示 。 以上三种方法均用于单句上的关系抽取 ， 而萨胡(Sahu)等人[22]则将包含多个句子的整个文档进行构图 ， 如图2(d)所示 ， 图中的节点代表单词 ， 边代表多种单句内和跨句间的关系 ， 然后应用GCN更新图节点的表示 ， 从而进行跨句关系抽取的任务 。
|基于图神经网络的知识图谱研究进展


推荐阅读


上一篇：新京报贝壳财经|工信部最严新规将终结骚扰电话？

下一篇：互联网|“黑豹”去世消息成史上最热门社交媒体推送，570多万名网友点击观看