|尤佳轩,何恺明等提新图表示法,新视角理解图结构如何影响预测性能
选自arXiv
作者：尤佳轩、Jure Leskovec、何恺明、Saining Xie
机器之心编译
参与：小舟、杜伟
神经网络的图结构和预测性能之间有怎样的关系？近日 ， 斯坦福尤佳轩、Jure Leskovec 联合 FAIR 何恺明、Saining Xie 等人的论文提出了一种神经网络的新型的图表示法 。 该表示法有助于对神经网络的架构和预测性能有更深层的理解 。 这篇论文已经被 ICML 2020 收录 。
神经网络通常用神经元之间的连接图来表示 。 尽管神经网络被广泛使用 ， 但目前对神经网络图结构与其预测性能之间关系的理解却非常少 。
近日 ， 在斯坦福联合 FAIR 提出的一项研究中 ， 研究者系统地探讨了神经网络图结构对其预测性能的影响 ， 并提出了一种新的基于图的神经网络表示 ， 他们称之为 relational 图 。 其中 ， 神经网络计算层按照图结构与信息交换的轮数（rounds）对应 。
论文一作为斯坦福大学计算机科学系博士三年级学生尤佳轩（Jiaxuan You） ， 其导师为斯坦福大学计算机科学副教授、Pinterest 首席科学家 Jure Leskovec 。
本文插图
论文地址：https://arxiv.org/pdf/2007.06559.pdf
总的来说 ， 这项研究有以下几大亮点：
relational 图的最佳区域（sweet spot）在于能够大大提升神经网络的预测性能；
神经网络的预测性近似为 relational 图的聚类系数和平均路径长度的平滑函数；
该研究的结果在许多不同的任务和数据集上是一致的；
relational 图的最佳区域能够得到高效地确定；
性能顶级的神经网络具有与真实生物神经网络相似的图结构；
为神经网络的架构设计与理解提供了一种新方向 。
接下来我们来看这篇论文的具体内容 。
relational 图介绍
为了探索神经网络的图结构 ， 研究者首先提出了 relational 图表示法及其实例化的概念 ， 并演示了该表示方法如何在一个统一的框架下发现各种神经网络的架构 。 在深度学习环境中用图作为语言是一个不错的选择 ， 这将为后续的研究奠定基础 。
图中的消息交换
研究者从图的角度重新审视神经网络的定义 ， 他们定义了图 G = (V, ε) ， 其中节点集 V = {v_1, ..., v_n} ， 边集 E ? {(v_i , v_j )|v_i , v_j ∈ V} 。 该研究假设每个节点 v 都有一个节点特征标量（或向量）x_v 。
当图 G 与神经元之间的消息交换联系起来时 ， 它就被称为 relational 图 。 具体而言 ， 消息交换通过一个消息函数和一个聚合函数来定义 ， 其中消息函数的输入是节点特征 ， 输出消息；聚合函数的输入是消息集 ， 输出是更新后的节点特征 。
在每轮消息交换中 ， 每个节点向它的相邻点传递消息并聚合从所有相邻点传入的消息 。 每条消息在边上通过消息函数 f(·)传递 ， 然后通过聚合函数 AGG(·)在每个节点聚合 。
假设进行 R 轮消息交换 ， 那么节点 v 的第 r 轮消息交换可表示为：
本文插图
需要注意的一点是 ， 这种定义消息交换的方式适用于任何图 。 为了简单起见 ， 该论文中仅考虑无向图 。 公式 1 提供了消息交换的通用定义 。
下表 1 则给出了该通用消息交换定义在几种神经架构中的实例化结果：
本文插图
表 1：用 relational 图语言表达的几种神经架构 。
固宽 MLP 的 relational 图
多层感知器（MLP）由多层计算单元（神经元）组成 ， 其中每个神经元对标量输入（scalar input）和输出执行加权求和 ， 然后进行一些非线性处理 。
