|尤佳轩,何恺明等提新图表示法,新视角理解图结构如何影响预测性能( 三 )
本文插图
主要实验结果 。 严格控制所有实验的计算预算 , 每个可视化结果平均至少 3 个随机种子 。 右下角的 C=1 , L=1 的完全图作为基线 。 图中红色矩形突出显示了最佳区域 。
值得注意的是 , 研究者发现性能最佳的图倾向于在 C 和 L(图 4(f)中的红色矩形区域)定义的空间中聚类出最佳区域 。 具体而言 , 研究者按照以下步骤确定最佳区域:
对图 4(a)中的 3942 张图进行下采样并将其聚合为 52 个 bin 的粗粒度区域 , 其中每个 bin 记录对应区域图的性能;
找出平均性能最佳的 bin(图 4(f)中的红叉);
对每个 bin 做单尾 t - 检验 , 与性能最佳的 bin 进行对比 , 并将没有比性能最佳的 bin 差很多(p 值 0.05 为阈值)的 bin 记录下来 。 覆盖这些 bin 的面积最小的矩形被视为最佳区域 。
在下图 5(左)中 , 研究者计算了使用全部 3942 张图和使用子样本 52 张图计算的 52bin 值之间的相关性 , 图 5(右)计算了子样本 52 张 relational 图中 , 部分训练模型的验证 top-1 误差和完全训练 100 epoch 模型的验证 top-1 误差之间的相关性:
本文插图
目前 , 研究者将 relational 图表示用作结构先验(structural prior) , 也就是说 , 在整个训练过程中 , 他们将图结构硬连接(hard-wire)在神经网络上 。
本文插图
【|尤佳轩,何恺明等提新图表示法,新视角理解图结构如何影响预测性能】最后 , 该研究表明 , 网络科学、神经科学等其他理科学科中完善的图技术和方法有助于理解和设计深度神经网络 。 研究者认为 , 在未来需要解决更复杂场景任务的研究中 , 这可能是一种卓有成效的发展方向 。