江苏龙网

  1. 首页 > 资讯 > 科技 > >

|基于图神经网络的知识图谱研究进展( 四 )


知识推理
与链接预测相似 ， 知识推理是从给定的知识图谱中推导出实体与实体之间的新关系 ， 但知识推理所获得的关系通常需要在知识图谱中进行多跳的推理过程 。 知识推理是一些下游任务的重要支撑之一 ， 例如知识库问答[1~3] 。 由于图神经网络在推理能力上的优势[13] ， 近年来被一些研究者尝试用于知识推理任务 。
Xu等人[36]提出了一种用于大规模知识图谱推理任务的图神经网络(Dynamically Pruned Message Passing Network ， DPMPN) ， 如图4(a)所示 ， 它包含两个遵循消息传递神经网络[37]架构的模块 ， 其中一个用于全局的信息传播 ， 另一个用于局部的信息传播 。 Zhang等人[38]提出了一个名为ExpressGNN的图神经网络用于概率逻辑推理 ， 它将马尔可夫逻辑网络(Markov logic network)[39]引入到了图神经网络框架 ， 从而将逻辑规则和概率图模型与图神经网络结合在一起 。 Lin等人[1]提出了一个基于图的关系推理模型KagNet(Knowledge-aware graph Network) ， 如图4(b)所示 ， 该模型使用GCN更新知识图谱中的实体表示后 ， 利用长短期记忆网络(Long Short-Term Memory ， LSTM)为候选路径打分 ， 从而选出最佳的推理路径 。 如图4(c)所示 ， 认知图谱问答(CogQA)[3]则使用BERT(Bidirectional Encoder Representations from Transformers)输出的若干片段构建一个认知图谱 ， 并利用图神经网络的信息传播机制 ， 实现在认知图谱上的多跳推理计算 。
|基于图神经网络的知识图谱研究进展
本文插图

3 基于图神经网络的知识图谱应用
描述常识和事实的知识图谱是学术界和工业界广泛使用的知识表示方式 ， 采用图构建知识和数据之间的关联 ， 是一种直接且有效的将知识和数据结合的方式 。 受益于图神经网络技术在信息传播和推理上的优势 ， 知识图谱中的先验知识被有效地引入到应用任务中 。
文本挖掘
知识图谱由自然语言构建而来 ， 因此与文本挖掘的联系颇深 。 知识图谱在大部分的文本挖掘任务中都有大量的应用 ， 其中应用最广泛的是知识库问答任务 。 在文本分类、文本生成等任务中 ， 知识图谱也都扮演了非常重要的角色 。
知识库问答是对知识图谱最直接的应用任务 ， 即基于知识图谱中的结构化知识 ， 分析用户自然语言问题的语义 ， 进而在知识图谱中通过检索、匹配或推理等方式进行回答 。 由于图神经网络在推理能力尤其是多跳推理上的优势[13] ， 已有大量工作将图神经网络用于知识库问答任务 。 KagNet[1]寻找实体之间的潜在路径并对其打分来确定最佳路径 ， 从而选出最佳答案 。 首先基于知识图谱将问题抽取为结构化的图 ， 并基于外部知识图谱扩展为该问题的相关子图 ， 然后使用GCN更新节点表示 ， 最后使用LSTM为路径打分 ， 即选出最佳的推论 。 CogQA[3]根据人类的认知方式1设计了两个模块 ， 分别对应于人类的两种认知模式 ， 模块一基于BERT在文本中抽取与问题相关的实体名称 ， 并扩展节点和汇总语义向量；模块二则利用图神经网络在模块一中构建的认知图谱上进行多跳推理计算 。 De Cao等人[2] 首先根据涉及的实体进行构图 ， 然后根据文档内和跨多个文档传播的信息使用GCN进行聚合和多步推理 。 类似地 ， Ye等人[40]提出知识增强图神经网络(Knowledge-enhanced Graph Neural Network ， KGNN) ， 利用知识图谱中的关系事实为段落中的实体构建实体图谱 ， 从而使用图神经网络对多个段落进行推理 。 Lv等人[41]使用结构化的ConceptNet和非结构化的Wikipedia作为两个外部知识源 ， 并根据问题和答案选项 ， 从两个知识源中抽取出证据并依此构建为图 ， 然后使用GCN更新节点表示并使用注意力机制融合得到图级别的表示 ， 最后用于答案的推断 。
在文本分类[12]、文本生成[42,43]、分类法构建[44]等任务中 ， 引入知识图谱中的先验知识 ， 可以使模型更准确地理解自然语言的含义 。 Hu等人[12]提出了一种异质图神经网络HGAT(Heterogeneous Graph Attention Network)用于短文本分类 ， 如图5所示 ， 首先基于知识库构造包含短文本、实体、主题三类节点的短文本异质图 ， 从而利用知识库中的知识增强短文本中的信息 ， 设计了一种带有双层注意力机制的异质图神经网络 ， 用于获得知识增强的短文本表示 ， 从而提高分类效果 。 Hu等人还将HGAT用于虚假新闻检测 ， 提出由于虚假新闻的虚假性特征 ， 会导致所含实体的表示会与知识库中的实体表示有较大差异 ， 因此通过HGAT学习融合了新闻内容的实体表示 ， 并通过一个匹配网络模块度量与知识库中的实体表示之间的差异性 ， 从而提高检测效果 。 Koncel-Kedziorski等人[42]提出了一种新的图转换器(graph transformers)用于编码知识图谱中包含的节点、关系信息 ， 从而结合给定的待生成文本标题 ， 利用解码器实现对应文本的生成 。 Chen等人[43]提出了一种双向Graph2Seq模型 ， 利用知识图谱中的结构信息 ， 使用双向门控图神经网络(Bidirectional Gated Graph Neural Network ， BiGGNN)学习图谱节点表示 ， 以一种带有节点级别的复制机制的LSTM作为解码器来生成文本 。 Graph2Taxo[44]是一种基于图神经网络的跨域知识迁移框架 ， 用于分类法构建的任务 ， 它使用一个由上下位词候选对构造的有噪声图 ， 以及一些已知域的一组分类 ， 利用图神经网络指导未知领域的分类结构学习 。


推荐阅读


上一篇：新京报贝壳财经|工信部最严新规将终结骚扰电话？

下一篇：互联网|“黑豹”去世消息成史上最热门社交媒体推送，570多万名网友点击观看