各种形式的图神经网络的实现和基准测试 _图神经网络

本篇文章是论文的介绍性博客:Benchmarking Graph Neural Networks （https://arxiv.org/abs/2003.00982）的介绍性文章，有兴趣的可以下载原文阅读

文章插图

图0：在稀疏的2D张量上运行的GCN（顶部）和在密集的2D张量上运行的WL-GNN（底部）的标准实验。
图神经网络（GNN）如今在社会科学，知识图，化学，物理学，神经科学等的各种应用中得到广泛使用，因此，文献中的论文数量激增。
但是，在缺乏标准和被广泛采用的基准的情况下，衡量新模型的有效性和验证可以普遍适用于较大和复杂数据集的新思想变得越来越困难。
为了解决图学习研究中存在的最重要的问题，我们开发了一个开源的，易于使用的且可重现的基准框架（https://github.com/graphdeeplearning/benchmarking-gnns），该框架具有严格的实验协议，该协议代表了GNN的进步。
这篇文章概述了GNN文献中的问题，提出了基准的需求，本文提出的框架，是一种广泛使用的强大GNN基准类别并提出了从广泛的实验中学到的见识。
为什么要进行基准测试？在深度学习的任何核心研究或应用领域中，基准都有助于识别和量化哪些类型的架构，原理或机制是通用的，并且可以推广到实际任务和大型数据集。AI领域中的最新革命通常很可能是由大规模基准图像数据集的ImageNet触发的。（显然，其他驱动因素包括研究量的增加，更多数据集，计算，广泛采用等）。

文章插图

图1：paperswithcode.com的ImageNet分类排行榜
事实证明，在许多科学的领域中，基准测试对于推动进步，确定基本思想以及解决与领域相关的问题都是有益的。这个项目是基于这种动机而构思的。
GNN需要的基准框架a.数据集GNN文献中许多被广泛引用的论文都包含在只有几百（或几千）图的小型图数据集上进行评估的实验。

文章插图

图2：广泛使用的数据集的统计数据。资料来源为Errica2020等
例如，ENZYMES数据集，几乎在用于分类任务的GNN的每项工作中都可以看到。如果使用随机10倍交叉验证（在大多数论文中），则测试集将具有60张图（即600张总图的10％）。这意味着正确的分类（或错误分类）将改变测试准确性得分的1.67％。几个样本可以确定绩效指标的差异为3.33％，这通常是在验证文献中的一个新想法时得出的显着增益得分。这里可以看到，样本数量不可靠，无法具体确认进展情况。¹
我们的实验也表明，此类数据集的性能标准差很大，因此很难对研究思路做出实质性结论。此外，大多数GNN在这些数据集上的统计结果均相同。这些数据集的质量也使人质疑在验证GNN的想法时是否应使用它们。在其中一些数据集中，较简单的模型有时也表现很出色，甚至优于GNN 。
因此，区分复杂，简单和不可知的图形架构以进行图形机器学习变得困难。
b.一致的实验方案：GNN文献中的几篇论文在统一而稳健的实验设置上没有达成共识，这导致实验中讨论的方向的不一致。
此处要突出几个示例：Ying等人在2018年对10倍拆分数据进行了固定次数的训练，并报告了每个epoch的性能，该性能具有"在任何epoch的拆分中具有最高的平均验证准确性" 的特点。Lee等人，2019年通过监测epoch损失并报告"最后一个epoch的平均测试准确性"超过10倍拆分数据，因此使用了"提前停止标准" 。
现在，如果我们将这两篇论文的结果提取到同一张表中，并声称性能得分最高的模型是最有前途的，那么我们是否可以确信这种比较是公平的？
模型的性能还与其他一些问题，超参数选择，可训练参数的不合理预算中的比较，使用不同的训练-验证-测试分割等有关。
这些问题的存在促使我们开发了GNN基准框架，该框架将GNN研究标准化，并帮助研究人员取得更有意义的进展。
建立GNN基准的挑战缺乏基准一直是GNN文献中的主要问题，因为上述要求尚未得到严格执行。
设计基准非常具有挑战性，因为我们必须为编码框架，实验设置和适当的数据集做出可靠的决策。基准还应该是全面的，以涵盖大多数基本任务，这些基本任务用来指示研究可以应用到的领域。例如，图学习问题包括在节点级，边缘级和图级预测属性。基准应该尝试涵盖其中的大部分（如果不是全部）。