江苏龙网

  1. 首页 > 资讯 > 科技 > >

|普林,DeepMind新研究:结合深度学习符号回归,深度模型中看见宇宙


选自arXiv
作者：Miles Cranmer等
机器之心编译
参与：杜伟、小舟、魔王
简单的符号表达式能够有效地建模世界 。 符号模型紧凑 ， 具备可解释性和良好的泛化能力 ， 但很难处理高维机器学习问题；深度模型擅长在高维空间中学习 ， 但泛化性和可解释性却很差 。 那么有没有什么办法可以取二者之所长呢？这项研究做到了 。
如何将深度模型转换为符号方程？
来自普林斯顿、DeepMind 等机构的研究人员提出了一种解决方案：结合深度学习和符号回归实现这一目标 。
|普林,DeepMind新研究:结合深度学习符号回归,深度模型中看见宇宙
本文插图

符号模型是自然科学的语言 。 与深度模型不同 ， 符号模型是紧凑的、可解释的 ， 同时具备良好的泛化能力 。 简单的符号表达式却是建模世界独一无二的强大方式 。 1960 年 ， 物理学家尤金 · 维格纳（Eugene Paul Wigner）在《数学在自然科学中不合理的有效性》中就表达了他对数学描述物理世界的卓越能力的惊讶 。
在机器学习领域 ， 人们通过遗传算法学习符号模型 。 这种方法无法针对输入特征的数量进行很好地缩放 。 但深度神经网络可以高效学习高维空间中的模式 。 那么 ， 问题来了 ， 我们可以兼二者之所长吗？
来自普林斯顿大学和 DeepMind 等机构的研究者提出了一种通用方法 ， 通过引入强归纳偏置来提取深度模型的符号表示 。
该方法的工作原理是：首先在监督设置下训练 GNN ， 同时鼓励稀疏潜在表示 ， 然后对学得模型的组件应用符号回归 ， 从而提取显式物理关系 。
该研究发现 ， 这一方法可以从神经网络中提取正确的已知公式 ， 包括力学定律和哈密顿动力学 。 此外 ， 研究者还将该方法应用于宇宙学示例 ， 即暗物质模拟中 ， 并发现了一个新的解析公式 。 该公式可以基于邻近宇宙结构的质量分布预测暗物质的浓度 。
此外 ， 相比 GNN 本身 ， 使用该方法从 GNN 提取的符号表达式能够更好地泛化至分布外（out-of-distribution）数据 。 该方法为解释神经网络 ， 以及基于神经网络学得的表示发现新的物理学原理提供了新的方向 。
接下来 ， 我们来看研究人员提出该方法的动机 ， 以及具体方法和实验细节 。
研究动机
我们都知道 ， 科学自动化的前提是实现知识发现的自动化 。 但是 ， 该过程中会出现很多问题 ， 比如机器学习模型何时成为知识？为什么麦克斯韦方程组被认为是科学事实 ， 而深度学习模型却只是数据插值呢？举例来说 ， 深度学习的确无法具备符号物理模型那么好的泛化性 。 然而 ， 到底是什么使简单的符号模型具备描述世界的强大性能呢？
从纯粹的机器学习角度来看 ， 符号模型有其自身的优势 ， 比如模型紧凑、具备显式可解释性 ， 以及泛化性优异 。 「符号回归」（Symbolic regression）正是用于此类符号模型的机器学习算法 ， 这种监督方法可以聚集多个解析函数来建模数据集 。
但是 ， 机器学习领域通常使用遗传算法来学习符号模型 ， 遗传算法本质上类似于 Schmidt & Lipson (2009) 提出的强力程序（brute force procedure） ， 但它无法针对输入特征的数量进行很好地缩放 。 因此 ， 很多机器学习问题 ， 尤其是高维机器学习问题很难通过传统的符号回归进行表示 。
|普林,DeepMind新研究:结合深度学习符号回归,深度模型中看见宇宙
本文插图

使用遗传算法的符号回归示例 。 算子和变量组成的二叉树表示方程 ， 突变和交叉持续迭代并组成最佳模型 。
另一方面 ， 深度学习被证明在高维空间的学习中非常高效 ， 但泛化性和可解释性却很差 。 那么 ， 有没有什么方法可以将传统符号回归和深度学习的优势结合起来呢？该研究给出了答案 。


推荐阅读


上一篇：游戏陀螺|全球首款原生云游戏发布，咪咕互娱助产业云帆破浪

下一篇：环球网|腾讯云工业云平台正式上线，首批接入52家企业