江苏龙网

  1. 首页 > 人文 > >

小辉搞科技|求解PDE家族：加州理工提傅里叶神经算子方法，无惧分辨率变化

机器之心报道
编辑：魔王、小舟
来自加州理工学院和普渡大学的研究者通过直接在傅里叶空间中对积分核进行参数化 ， 构造了一种新的神经算子——傅里叶神经算子（FNO） 。
这篇由加州理工学院ZongyiLi、AnimaAnandkumar ， 以及普渡大学（PurdueUniversity）KamyarAzizzadenesheli等人提交的论文 ， 目前正在接受ICLR2021大会的审阅 。
本文的作者之一AnimaAnandkumar是加州理工学院教授 ， 也是英伟达机器学习研究的负责人 。
小辉搞科技|求解PDE家族：加州理工提傅里叶神经算子方法，无惧分辨率变化
文章图片
传统意义上 ， 神经网络主要学习有限维欧式空间之间的映射 。 近期 ， 这一做法被推广到神经算子 ， 它主要学习函数空间之间的映射 。 对于偏微分方程（PDE）而言 ， 神经算子直接学习任意函数参数依赖到解的映射 。 因而 ， 与解决一个方程实例的经典方法不同 ， 神经算子学习整个PDE家族 。
近日 ， 来自加州理工学院和普渡大学的研究者通过直接在傅里叶空间中对积分核进行参数化 ， 构造了新的神经算子——傅里叶神经算子（FNO） ， 帮助实现表达力强且高效的架构 。
小辉搞科技|求解PDE家族：加州理工提傅里叶神经算子方法，无惧分辨率变化
文章图片
论文地址：https://arxiv.org/abs/2010.08895v1
研究人员在伯格斯方程（Burgers’equatio）、达西流动（Darcyflow）和纳维-斯托克斯方程（Navier-Stokesequation）上进行实验 ， FNO超越现有的神经网络方法取得了SOTA性能 ， 且与传统的PDE求解器相比 ， 其速度快了三个数量级 。
如何求解PDE？
科学和工程学中的许多问题都涉及针对某些参数的不同值反复求解复杂的偏微分方程（PDE）系统 ， 例如分子动力学、微观力学等 。 此类系统通常需要精细离散化 ， 以捕获需要建模的现象 。 因此 ， 传统的有限元法（finiteelementmethod ， FEM）和有限差分法（finitedifferencemethod ， FDM）速度较慢 ， 有时效率低下 。 例如 ， 当设计机翼之类的材料时 ， 我们需要解决相关的逆问题 ， 其中需要对前向模型进行数千次评估 。 对此 ， 存在一种快速解决问题的方法 。
机器学习方法通过提供近似于传统方法的快速求解器 ， 成为革新许多科学学科的关键所在 。 但是经典的神经网络是在有限维度的空间之间进行映射 ， 因此它们只能学习与特定离散化相关的解 。 这在实际应用中通常无法克服 ， 因此我们更需要开发mesh-invariant神经网络 。
在该论文中 ， 研究者首先概述了两种基于主流神经网络的求解PDE方法：有限维算子和神经FEM（Neural-FEM） 。
有限维算子
有限维算子方法将解算子参数化为有限维欧几里得空间之间的深度卷积网络 。 按照定义 ， 这类方法并不是独立于mesh的 ， 并且需要针对不同的分辨率和离散化进行修改和调整 ， 以实现一致的误差（如果可能的话） 。 此外 ， 这些方法受限于训练数据的离散化规模和几何形状 ， 因此它们无法对新的点找到解 。
而这篇论文提出的方法正相反 ， 其误差对于网格分辨率具备不变性 ， 并能够在mesh之间传递解 。
Neural-FEM
Neural-FEM方法将解函数直接参数化为神经网络 。 该方法旨在为PDE的特定实例建模 ， 而不是解算子 。 它具备mesh独立性并且准确 ， 但是对于函数参数/系数的任何给定新实例 ， 它都需要训练新的神经网络 。
这种方法与经典方法（如有限元法）非常相似 ， 用神经网络空间代替局部基函数有限集的线性范围 。 Neural-FEM方法遇到的计算问题也与经典方法相同：每个新实例都需要解决优化问题 。 此外 ， 该方法还受限于此设置：基础PDE已知 。
研究贡献
该研究提出一种能够学习无限维函数空间之间映射的新型深度学习架构——傅里叶神经算子 ， 通过傅里叶空间中的线性变换实例化积分算子（参见图1a） 。


推荐阅读


上一篇：小辉搞科技|业界丨佰籁镫音响“放大招”

下一篇：济南城事|济南人今起开始囤货，#双十一开到线下了#