江苏龙网

  1. 首页 > 人文 > >

科技怪人|我们真的需要深度图神经网络吗？


科技怪人|我们真的需要深度图神经网络吗？
文章图片
今年 ， 图深度学习成为机器学习领域炙手可热的话题之一 。 然而 ， 那些习惯于想象卷积神经网络具有数十层甚至数百层的人 ， 如果看到大多数关于图深度学习的工作最多只用了几层的话 ， 他们会不会感到深深的失望呢？“深度图神经网络”一词是否被误用了？我们是否应该套用经典的说法 ， 思考深度是否应该被认为对图的学习是有害的？
训练深度图神经网络是一个难点 。 除了在深度神经结构中观察到的标准问题（如反向传播中的梯度消失和由于大量参数导致的过拟合）之外 ， 还有一些图特有的问题 。 其中之一是过度平滑 ， 即应用多个图卷积层后 ， 节点特征趋向于同一向量 ， 变得几乎无法区分的现象【1】 。 这种现象最早是在GCN模型【2】【3】中观察到的 ， 其作用类似于低通滤波器【4】 。
最近 ， 人们致力于解决图神经网络中的深度问题 ， 以期获得更好的性能 ， 或许还能避免在提到只有两层的图神经网络时使用“深度学习”这一术语的尴尬 。 典型的方法可以分为两大类 。 首先 ， 使用正则化技术 ， 例如边dropout（DropEdge）【5】、节点特征之间的成对距离归一化（PairNorm）【6】 ， 或节点均值和方差归一化（NodeNorm）【7】 。 其次 ， 架构变化 ， 包括各种类型的残差连接（residualconnection） ， 如跳跃知识【8】或仿射残差连接【9】 。 虽然这些技术允许训练具有几十层的深度图神经网络（否则很难 ， 甚至不可能） ， 但它们未能显示出显著的收益 。 更糟糕的是 ， 使用深度架构常常会导致性能下降 。 下表摘自【7】 ， 显示了一个典型的实验评估 ， 比较了不同深度的图神经网络在节点分类任务上的表现：
【科技怪人|我们真的需要深度图神经网络吗？】
科技怪人|我们真的需要深度图神经网络吗？
文章图片
该图显示了深度图神经网络结构在CoauthorsCS引文网络上的节点分类任务中的典型结果 。 随着深度的增加 ， 基线（具有残差连接的GCN）表现不佳 ， 性能从88.18%急剧下降到39.71% 。 使用NodeNorm技术的架构随着深度的增加表现一直良好 。 然而 ， 当深度增加时 ， 性能下降（虽然不明显 ， 从89.53%下降到87.40%） 。 总的来说 ， 通过64层的深度架构获得的最佳结果（87.40%） ， 逊于简单基线（88.18%） 。 另外 ， 还可以观察到NodeNorm正则化提高了浅2层架构的性能（从88.18%提高到89.53%） 。 上表摘自【7】（所示为每个类5个标签的情况；该论文中研究的其他设置也表现出了类似的行为） 。 类似的结果在【5】和其他几篇论文中也有显示 。
从这张表中可以看出 ， 要将深度架构带来的优势与训练这样一个神经网络所需的“技巧”区分开来很困难 。 实际上 ， 上例中的NodeNorm还改进了只有两层的浅层架构 ， 从而达到了最佳性能 。 因此 ， 在其他条件不变的情况下 ， 更深层次的图神经网络是否会表现得更好 ， 目前尚不清楚 。
这些结果显然与传统的网格结构化数据的深度学习形成了鲜明的对比 ， 在网格结构化数据上 ， “超深度”（ultra-deep）架构【10】【11】带来了性能上的突破 ， 并在今天得到了广泛的使用 。 在下文中 ， 我将尝试提供一些指导 ， 以期有助回答本文标题提出的“挑衅性”问题 。 需要注意的是 ， 我本人目前还没有明确的答案 。
图的结构 。 由于网格是一种特殊的图 ， 因此 ， 肯定有一些图的例子 ， 在这些图上 ， 深度是有帮助的 。 除网格外 ， 表示分子、点云【12】或网片【9】等结构的“几何”图似乎也受益于深度架构 。 为什么这样的图与通常用于评估图神经网络的引用网络（如Cora、PubMed或CoauthsCS）有如此大的不同？其中一个区别是 ， 后者类似于具有较小直径的“小世界”网络 ， 在这种网络中 ， 人们可以在几跳内从任何其他节点到达任何节点 。 因此 ， 只有几个卷积层的感受野（receptivefield）已经覆盖了整个图【13】 ， 因此 ， 添加更多的层对到达远端节点并没有帮助 。 另一方面 ， 在计算机视觉中 ， 感受野呈多项式增长 ， 需要许多层来产生一个能捕捉图像中对象的上下文的感受野【14】 。


推荐阅读


上一篇：智家电观察|美的集团新目标:3年让1亿个家庭享受美的智慧生活

下一篇：IT之家|Q3 iPhone收入实现小幅增长，多亏了iPhone SE 2，苹果2020