小辉搞科技|求解PDE家族：加州理工提傅里叶神经算子方法，无惧分辨率变化( 二 )
文章图片
该研究的主要贡献有：
傅里叶神经算子方法共享相同的学得网络参数 ， 而与出于计算目的在输入和输出空间上使用的离散化无关 。
对于parametricPDE ， 傅里叶神经算子始终优于所有现有的深度学习方法 。 其误差率在伯格斯方程上降低了30% ， 在达西流动问题上降低了60% ， 在纳维-斯托克斯方程（雷诺数为10000的湍流状态）上降低了30%（如图1b所示） 。 在学习整个时间序列的映射时 ， 该方法在雷诺数为1000时 ， 达到了<1%的误差 ， 在雷诺数为10000时 ， 误差为8% 。
在256×256网格上 ， 用于求解纳维-斯托克斯方程的伪谱方法用时2.2秒 ， 而傅里叶神经算子的推断时间仅为0.005秒 。 该方法不仅具有巨大的速度优势 ， 在下游应用（如解决贝叶斯逆问题）中使用时 ， 其准确率也不会下降 ， 如图3所示 。
神经算子
神经算子是一个迭代结构v_0|→v_1|→...|→v_T ， 其中 ， v_j(j=0,1,...,T?1)是一系列函数 ， 每一个函数取值于R^dv 。 首先通过局部（逐点）变换P将输入a∈A转换为更高维度的表示v_0=P(a) 。 这一局部变换P一般通过浅层全连接网络进行参数化 ， P:R^da→R^dv单独对每个空间组件a(x)∈R^da执行 。 类似地 ， 输出u=Q(v_T)是v_T通过局部变换Q:R^dv→R^du后的投影 。
在每次迭代中 ， 更新v_t|→v_t+1被定义为非局部积分算子K和局部非线性激活函数σ的组合 。
文章图片
κ_φ是从数据中学得的核函数 。 定义1和定义2构成了神经网络向无限维空间的泛化[Lietal.,2020b] 。 如果我们移除对函数a的依赖 ， 并使κ_φ(x,y)=κ_φ(x?y) ， 则得到(4)是卷积算子 。
研究者在傅里叶空间中直接参数化κ_φ ， 并使用快速傅里叶变换（FFT）对(4)进行高效计算 ， 从而得到在PDE问题上获得SOTA结果的新型快速架构 。
傅里叶神经算子
研究人员提出用傅里叶空间中定义的卷积算子替换掉(4)中的核积分算子 。 令F表示对函数的傅里叶变换f:D→R^dv ， F^?1表示逆变换 ， 则得到：
文章图片
j=1,...,d_v ， i=√?1表示虚数单位 。 令公式(4)中的κ_φ(x,y,a(x),a(y))=κ_φ(x?y) ， 并应用卷积定理 ， 得到：
从而在傅里叶空间中直接参数化κ_φ：
文章图片
实验
研究者在一维伯格斯方程、二维达西流动问题和二维纳维-斯托克斯方程上对比了FNO和多个有限维架构和基于算子的逼近方法 。
文章图片
伯格斯方程
该实验的结果参见图2a和表1 。
该研究提出的FNO方法取得了最低的相对误差 ， 并且该误差值不随分辨率的变化而变化 ， 而基于卷积神经网络的方法（FCN）的误差随着分辨率的增长而增大 。 与其他神经算子方法（如在物理空间中使用Nystr?m采样的GNO和MGNO）相比 ， 傅里叶神经算子方法在准确率和计算效率方面均更胜一筹 。
文章图片
达西流动
文章图片
该实验结果参见图2b和表2 。 FNO方法的相对误差比其他方法几乎低了一个数量级 ， 而且该误差值并不会随着分辨率的变化而变化 。
纳维-斯托克斯方程
推荐阅读
- 三星公司发布2021款数字座舱 集成诸多高科技
- 刚有望“出人头地”就被三大科技巨头围剿，“挺川者”新阵地下线
- 谷歌建立新AI系统 可开发甜品配方
- 柔性电子市场广阔，领头羊柔宇科技获更多关注
- 曝LG也将推出卷轴屏手机 你怎么看？
- AI战疫、真5G来了，十大最热门科技应用演绎速度与温度
- 又爆炸！联电科技传来一声巨响，或把8 英寸晶圆市场"炸"了
- 唐山四维智能科技有限公司：双臂机器人引领人机协作新纪元
- 国家超算郑州中心首批重大科技专项启动
- 青岛海科展：五年磨一剑，科技力量助力海洋强国