江苏龙网

  1. 首页 > 人文 > >

科技怪人|我们真的需要深度图神经网络吗？( 二 )


科技怪人|我们真的需要深度图神经网络吗？
文章图片
在小世界图（图上）中 ， 只需几跳即可从另一个节点到达任意一个节点 。 结果 ， 邻居的数量（以及相应的 ， 图卷积滤波器的感受野）呈指数级快速增长 。 在这个例子中 ， 从红色节点到每个节点仅需两跳即可（不同的颜色表示将到达相应节点的层 ， 从红色节点开始） 。 另一方面 ， 在网格（图下） ， 感受野的增长是多项式的 ， 因此 ， 需要更多的层才能达到相同的感受野大小 。
科技怪人|我们真的需要深度图神经网络吗？
文章图片
在邻居呈指数级增长的图中（如上图所示） ， 会出现瓶颈现象：来自太多邻居的太多信息必须压缩到单个节点特征向量中 。 结果 ， 消息无法传播 ， 性能受到影响 。
远程问题域短程问题 。 一个稍微不同但相关的区别是 ， 问题需要远程信息还是短程信息 。 例如 ， 在社交网络中 ， 预测通常只依赖于来自某个节点本地邻域的短程信息 ， 而不会通过添加远程信息来改善 。 因此 ， 这类任务可以由浅层GNN来执行 。 另一方面 ， 分子图通常需要远程信息 ， 因为分子的化学性质可能取决于其相对两边原子的组合【15】 。 要利用这些远程交互 ， 可能需要深度GNN 。 但是 ， 如果图的结构导致感受野呈指数级增长 ， 那么瓶颈现象就会阻止远程信息的有效传播 ， 这就解释了为什么深度模型在性能上没有提高【4】 。
理论的局限性 。 除了一个更大的感受野外 ， 深度架构在计算机视觉问题上提供的关键优势之一是它们从简单特征组合复杂特征的能力 。 将CNN从人脸图像中学习到的特征进行可视化后 ， 会显示出从简单的几何原语到整个面部结构逐渐变得更加复杂的特征 ， 这表明传说中的“祖母神经元”更多是真实的 ， 而不是神话 。 对于图来说 ， 这样的组合似乎是不可能的 ， 例如 ， 无论神经网络有多深 ， 都无法从边组成三角形【16】 。 另一方面 ， 研究表明 ， 如果没有一定的最小深度 ， 使用消息传递网络计算某些图的属性（如图矩）是不可能的【17】 。 总的来说 ， 我们目前还不清楚哪些图属性可以用浅层GNN表示 ， 哪些需要深度模型 ， 以及哪些图的属性根本无法计算 。
科技怪人|我们真的需要深度图神经网络吗？
文章图片
通过卷积神经网络在人脸图像上学习特征的示例 。 请注意 ， 当进入更深的图层时 ， 特征是如何变得越来越复杂的（从简单的几何原语 ， 到面部部分 ， 再到整个人脸） 。 图片改编自MatthewStewart的一篇博文 。
深度与丰富度 。 与底层网格固定的计算机视觉不同 ， 在对图的深度学习中 ， 图的结构确实很重要 ， 并被考虑在内 。 设计出更为复杂的消息传递机制来解决标准GNN无法发现的复杂的高阶信息是有可能的 ， 比如主题【18】或子结构计数【19】 。 人们可以选择具有更丰富的多跳滤波器的浅层网络 ， 而不是使用具有简单一跳滤波器的浅层网络 。 我们最近发表的关于可扩展的初始类图神经网络（SIGN）的论文 ， 通过将单层线性图卷积架构与多个预计算滤波器结合使用 ， 将这一想法发挥到了极致 。 我们展示的性能可以与更复杂的模型相媲美 ， 而它们的时间复杂度仅为后者的一小部分【20】 。 有趣的是 ， 计算机视觉走的是相反的道路：早期具有大（最大11x11）滤波器的浅层CNN架构 ， 如AlexNet ， 被具有小（通常为3x3）滤波器的非常深的架构所取代 。
评估 。 最后但并非不重要的是 ， 图神经网络的主要评估方法受到了OleksandrShchur和StephanGünnemann【21】小组同事的严厉批评 ， 他们提请人们注意常用基准的缺陷 ， 并表明 ， 如果在公平的环境下进行评估 ， 简单模型的表现可与更复杂的模型相媲美 。 我们观察到的一些深度架构的现象 ， 例如 ， 性能随深度而下降 ， 可能仅仅是源于对小数据集的过拟合所致 。 新的OpenGraphBenchmark解决了其中的一些问题 ， 提供了非常大的图 ， 并进行了严格的训练和测试数据分割 。 我认为 ， 我们还需要进行一些精心设计的特定实验 ， 以便更好地理解深度在图深度学习是否有用 ， 以及何时有用 。


推荐阅读


上一篇：智家电观察|美的集团新目标:3年让1亿个家庭享受美的智慧生活

下一篇：IT之家|Q3 iPhone收入实现小幅增长，多亏了iPhone SE 2，苹果2020