江苏龙网

  1. 首页 > 人文 > >

Array|我们真的需要深度图神经网络吗？( 二 )

远程问题域短程问题。一个稍微不同但相关的区别是，问题需要远程信息还是短程信息 。例如，在社交网络中，预测通常只依赖于来自某个节点本地邻域的短程信息，而不会通过添加远程信息来改善 。因此，这类任务可以由浅层 GNN 来执行 。另一方面，分子图通常需要远程信息，因为分子的化学性质可能取决于其相对两边原子的组合【15】 。要利用这些远程交互，可能需要深度 GNN 。但是，如果图的结构导致感受野呈指数级增长，那么瓶颈现象就会阻止远程信息的有效传播，这就解释了为什么深度模型在性能上没有提高【4】 。
理论的局限性。除了一个更大的感受野外，深度架构在计算机视觉问题上提供的关键优势之一是它们从简单特征组合复杂特征的能力 。将 CNN 从人脸图像中学习到的特征进行可视化后，会显示出从简单的几何原语到整个面部结构逐渐变得更加复杂的特征，这表明传说中的“ 祖母神经元”更多是真实的，而不是神话 。对于图来说，这样的组合似乎是不可能的，例如，无论神经网络有多深，都无法从边组成三角形【16】 。另一方面，研究表明，如果没有一定的最小深度，使用消息传递网络计算某些图的属性（如图矩）是不可能的【17】 。总的来说，我们目前还不清楚哪些图属性可以用浅层 GNN 表示，哪些需要深度模型，以及哪些图的属性根本无法计算 。
Array|我们真的需要深度图神经网络吗？
文章图片
通过卷积神经网络在人脸图像上学习特征的示例 。请注意，当进入更深的图层时，特征是如何变得越来越复杂的（从简单的几何原语，到面部部分，再到整个人脸） 。图片改编自 Matthew Stewart 的一篇 博文 。
深度与丰富度。与底层网格固定的计算机视觉不同，在对图的深度学习中，图的结构确实很重要，并被考虑在内 。设计出更为复杂的消息传递机制来解决标准 GNN 无法发现的复杂的高阶信息是有可能的，比如主题【18】或 子结构计数【19】 。人们可以选择具有更丰富的多跳滤波器的浅层网络，而不是使用具有简单一跳滤波器的浅层网络 。我们最近发表的关于可扩展的初始类图神经网络（SIGN）的论文，通过将单层线性图卷积架构与多个预计算滤波器结合使用，将这一想法发挥到了极致 。我们展示的性能可以与更复杂的模型相媲美，而它们的时间复杂度仅为后者的一小部分【20】 。有趣的是，计算机视觉走的是相反的道路：早期具有大（最大 11x11）滤波器的浅层 CNN 架构，如 AlexNet ，被具有小（通常为 3x3）滤波器的非常深的架构所取代 。
评估。最后但并非不重要的是，图神经网络的主要评估方法受到了 Oleksandr Shchur 和 Stephan Günnemann【21】小组同事的严厉批评，他们提请人们注意常用基准的缺陷，并表明，如果在公平的环境下进行评估，简单模型的表现可与更复杂的模型相媲美 。我们观察到的一些深度架构的现象，例如，性能随深度而下降，可能仅仅是源于对小数据集的过拟合所致 。新的 Open Graph Benchmark 解决了其中的一些问题，提供了非常大的图，并进行了严格的训练和测试数据分割 。我认为，我们还需要进行一些精心设计的特定实验，以便更好地理解深度在图深度学习是否有用，以及何时有用 。


推荐阅读


上一篇：泳池|唯清凉和美食不可辜负！盛夏

下一篇：智通财经|美高梅中国(02282)中期总经调整EBITDA亏损10.08亿港元