178页，四年图神经网络研究精华，图卷积网络作者博士论文公布
机器之心报道
机器之心编辑部
对于普通人来说 ， 将自己的学位论文公布到社交媒体可能需要点勇气 。 但如果实力够硬 ， 多少人检阅都是不怕的 。 最近 ， 图卷积网络（GCN）的作者 Thomas Kipf 就公开了自己的博士论文 ， 主题是「使用图结构表示的深度学习」 ， 涵盖从图神经网络到结构发现等一系列深度学习热门话题 ， 是他过去几年图神经网络方向研究的深度汇总 。
本文插图
在深度学习领域 ， 图神经网络早已成为热门话题 。 去年年底 ， 有人统计了 2019 年到 2020 年各大顶会提交论文关键词的数据 。 结果显示 ， 「graph neural network”」的增长速度位列榜首 ， 成为上升最快的话题 。
本文插图
在图神经网络出现之前 ， 尽管深度学习已经在欧几里得数据中取得了很大的成功 ， 但从非欧几里得域生成的数据已经得到了更广泛的应用 ， 它们也需要有效的分析 。 例如 ， 在电子商务领域 ， 基于图的学习系统能够利用用户和产品之间的交互来实现高度精准的推荐；在化学领域 ， 分子被建模为图 ， 新药研发需要测定其生物活性等等 。
广阔的应用前景吸引了大批研究者投身图神经网络的研究 ， 图卷积网络就是其中的一个方向 。
对于这个方向的研究者来说 ， Thomas Kipf 的名字应该并不陌生 ， 他 2016 年发表的论文《Semi-Supervised Classification with Graph Convolutional Networks》被引量已超过 3400 次 ， 是这一方向的奠基之作 。 这篇论文也被 2017 年的 ICLR 大会接收 。
本文插图
除此之外 ， 图神经网络的另一重要方向——图自编码器也是 Kipf 和其导师 Max Welling 于 2016 年提出的 。
虽然几年前就做出了各种开创性的工作 ， 但 Thomas Kipf 今年才刚刚博士毕业 。 他的研究方向是学习结构化数据和结构化表示 / 计算 ， 包括推理、（多智能体）强化学习和结构化深度生成模型 。 今年 1 月份 ， 他从阿姆斯特丹大学机器学习专业拿到了博士学位 。
与机器学习界的很多大牛一样 ， Kipf 本身并不是计算机专业 。 他本科是学物理的 ， 在马普所接触到神经科学相关研究 ， 之后进入机器学习领域 。 博士毕业后 ， Kipf 加入了谷歌 ， 担任研究科学家 。
Kipf 此次公布的博士论文有 178 页 ， 是他博士四年在图神经网络领域研究的一次深度汇总 ， 不仅讨论了图卷积网络 ， 还有图自编码器、结构化世界模型等 ， 值得抽出时间仔细阅读 。
论文链接：https://pure.uva.nl/ws/files/46900201/Thesis.pdf
机器之心将简要介绍论文内容 。
大神的博士论文
在这篇论文中 ， Thomas Kipf 提出了一种用深度学习处理结构化数据的新方法 。 该方法主要基于以图的形式结构化神经网络模型的表示和计算 ， 从而提高模型在学习具备显式和隐式模块结构的数据时的泛化能力 。
该论文主要分为两个部分 ， 分别介绍如何处理显式结构（第 3-5 章）和隐式结构（第 6-8 章） 。
这篇论文的主要贡献如下：
- 提出了图卷积网络（GCN） ， 用于执行图结构数据中节点的半监督分类任务；
- 提出图自编码器（GAE） ， 用于图结构数据中的无监督学习和链接预测；
- 提出关系 GCN（R-GCN） ， 将 GCN 模型扩展到具有多个边类型的有向关系图；
- 提出神经关系推断（neural relational inference, NRI）模型；
- 提出一个针对序列行为数据的结构发现模型：组合式模仿学习和执行（CompILE）；
推荐阅读
- 潍坊晚报|手机使用四年，凌晨自燃吓坏一家人
- 36氪|【投行：未来四年内苹果市值有望达到2万亿美元】
- 云集连亏四年，云集难走“Costco之路”
- 腾讯优图：带噪学习和协作学习，不完美场景下的神经网络优化策略
- 趣投稿2020最新版《神经网络与深度学习》中文版更新完毕（附PDF下载）
- 丰巢王卫的西线战事：四年亏损20亿 丰巢陷模式困境
- []AI也能作曲！OpenAI神经网络能生成任何流派音乐
- 硬件如何撬动移动端AI万亿美元市场？ 华人学者新研究实现移动端神经网络180倍加速
- 超简单的神经网络构建方法，你上你也行
- 「EETOP」1/100的功耗，1/10的延迟！Imec 发布新型脉冲神经网络的芯片
![[人民前线]侦察兵里当尖兵！，00后上等兵](https://imgcdn.toutiaoyule.com/20200502/20200502161114462652a_t.jpeg)
