江苏龙网

  1. 首页 > 人文 > >

没有完整图时，如何使用图深度学习？需要了解流形学习2.0版本


机器之心编译
编辑：陈萍
流形学习 ， 自 2000 年在著名的科学杂志《Science》被首次提出以来 ， 已成为信息科学领域的研究热点 。 可能很多人会问 ， 流形学习有什么用呢？首先流形学习可以作为一种数据降维的方式 ， 第二 ， 流形能够刻画数据的本质 。 其主要代表方法有等距映射、局部线性嵌入等 。 那么 ， 具有流形学习 2.0 之称的潜图学习方法如何呢？
没有完整图时，如何使用图深度学习？需要了解流形学习2.0版本
本文插图
自从神经网络提出以来 ， 其在人脸识别、语音识别等方面表现出卓越的性能 。 以前需要人工提取特征的机器学习任务 ， 现在通过端到端的方法就能解决 。
传统的深度学习方法在提取欧氏空间数据（比如图片是规则的正方形栅格 ， 语音数据是一维序列）的特征方面取得了巨大的成功 。 但是 ， 在许多任务中 ， 数据不具备规则的空间结构 ， 即非欧氏空间下的数据 ， 如电子交易、推荐系统等抽象出来的图谱 ， 图谱中每个节点与其他节点的连接不是固定的 。 在经典的 CNN、RNN 等框架无法解决或效果不好的情况下 ， 图神经网络应运而生 。

没有完整图时，如何使用图深度学习？需要了解流形学习2.0版本
本文插图
图左（红框）：欧氏空间数据；图右：非欧氏空间数据 。
图神经网络利用关系归纳偏置来处理以图形式出现的数据 。 然而 ， 在许多情况下 ， 并没有现成的图 。 那么图深度学习适用于这类情形吗？本文将介绍潜图学习（latent graph learning）和更早的流形学习（manifold learning） 。
潜图学习
在过去的几年里 ， 人们对使用机器学习方法处理图结构数据产生了浓厚的兴趣 。 这类数据自然也出现在许多应用中 ， 例如社会科学（如 Twitter 或 Facebook 上的用户 Follow 图）、化学（分子可被建模为键连接的原子图）或生物学（不同生物分子之间的相互作用通常被建模为相互作用组图） 。 图神经网络（GNN）是一种特别流行的图学习方法 ， 该算法通过在相邻节点之间交换信息的共享参数进行局部操作 。
然而 ， 在某些情况下 ， 没有现成的图可以作为输入 。 在生物学中尤其如此 ， 诸如蛋白质 - 蛋白质相互作用的图只有部分已知 ， 因为发现蛋白质相互作用的实验费用昂贵 ， 而且噪声很大 。 因此 ， 研究者从数据中推断出图并在其上应用 GNN ， 并将其称为「潜图学习」 。 潜图学习特定于应用 ， 并针对下游任务进行了优化 。 此外 ， 有时这样的图可能比任务本身更重要 ， 因为它可以传达关于数据的重要洞察 ， 并提供解释结果的方法 。
潜图学习是学习具有空边集的图 。 在这一设置中 ， 输入为高维特征空间中的点云 。 在集合上进行深度学习的方法（如 PointNet）对每个点应用共享可学习 point-wise 函数 ， 与之不同 ， 潜图学习还寻求跨点信息传递 。
DGCNN
点云动态图卷积神经网络（DGCNN）是第一个这样的架构 ， 该架构由麻省理工学院的 Yue Wang 开发 。 受计算机图形学中涉及 3D 点云分析问题的启发 ， 该架构将图用作点云下局部光滑流形结构的粗略表示 。 Yue 的一个重要发现是 ， 图在整个神经网络中不需要保持不变 ， 事实上 ， 它可以而且应该动态更新——因此该方法被命名为 DGCNN 。

没有完整图时，如何使用图深度学习？需要了解流形学习2.0版本
本文插图
DGCNN 动态构造一个用于特征扩散的 k 近邻图 。 图依赖于任务 ， 并在每个层之后更新 。 这幅图（摘自 [4]）展示了与红点的距离（黄色代表更近的点） ， 表明在分割任务中 ， 更深层次的图捕捉语义关系而不是几何关系 ， 如成对的机翼、发动机等 。
DGM
DGCNN 的一个局限性是用相同的空间来构造图和图上的特征 。 Anees Kazi 和 Luca Cosmo 提出了一种新的架构——可微图模块（DGM） ， 通过对图和特征构造进行解耦来扩展 DGCNN ， 如下图所示：


推荐阅读


上一篇：|新打野刀该如何抉择？哪吒提升一个档次，部分英雄出完有奇效

下一篇：|SN淘汰JDG，焕烽打出Ban位待遇，LPL韩援队伍全部出局