间断问题扩散正则化的PINN反问题求解算法*

林云云，郑素佩，封建湖，靳 放

（长安大学 理学院，西安 710064）

Burgers 方程是一类常见的一维标量双曲守恒律方程，常被用来模拟均匀密度和均匀压力下流体的动量传递，可从Navier-Stokes 方程[1]的速度场中去掉压力梯度项得到.该方程出现在应用数学的许多领域，包括流体动力学、气体动力学和交通流[2]等，因此对它的数值算法研究一直是一项非常有意义的工作.近年来，在数值近似领域出现了各种求解双曲守恒律方程的高分辨率数值格式.郑素佩等[3]基于移动网格法提出了一种熵稳定格式，该格式有效地提高了二维浅水波方程数值算法的分辨率.贾豆等[4]提出了一种旋转通量混合格式，该格式提高了二维Euler 方程数值结果的分辨率.然而，这些数值格式仍具有传统数值方法适应性差、网格剖分、条件限制等问题.随着深度学习在计算机视觉和自然语言处理领域的蓬勃发展，出现了替代传统数值格式的无网格算法，使用深度神经网络求解方程.深度神经网络作为一种通用的非线性函数逼近器，通过优化神经网络的参数来逼近方程的解.在20 多年之前，神经网络就被用于求解偏微分方程[5-6]，但受限于当时的计算机能力，这一技术未能得到发展.近年来，随着机器学习的飞速发展，这一技术被重新审视，高普阳等[7]利用卷积神经网络求解双曲守恒律方程，通过优化传统有限体积法中的权重系数，得到了在粗网格下具有较高精度的新数值格式，但是该网络选取的训练集是由经典的数值格式得到的，因此也会保留经典格式的不足.Raissi 等[8]提出了一种PINN 算法，通过自动微分得到带物理模型约束的神经网络，将其纳入到神经网络损失函数中，这种结构化方法引入了一种正则化机制，从而约束了可容许解的空间.该算法仅需少量的数据就可高效地求解偏微分方程解的正问题，以及从给定数据中推断出未知参数的反问题.然而该算法在求解双曲守恒律方程时在间断附近会出现抹平现象，很难识别激波等间断.Lu 等[9]建立了基于PINN 算法的PYTHON 库DeepXDE，提出了一种类似于有限元细化的方法，它是一种新的基于残差的自适应细化方法.此方法是通过在间断附近自适应的增加训练点，以便很好地捕捉间断，但需要经过“小批量”的梯度下降来判断间断的位置，使训练过程变得复杂.Mao 等[10]利用PINN 算法近似模拟高速气动流动的Euler 方程，在间断附近对分散的训练点进行了随机聚类来捕获解的间断，以此来提高精度，防止误差向整个区域传播，但此方法需要事先知道间断的位置，对于未知解的问题具有一定的挑战.以上文献对于间断问题的处理方法都是通过在间断位置增加数据集来捕捉间断，这会增加训练量，占用大量的存储空间.LeFloch 等[11]提出了基于扩散-色散正则化的数值方法，并且证明了该方法能很好地逼近非经典解，但对于大振幅的非经典激波无法逼近.El 等[12]对不同正则化方法进行了分析，为双曲守恒律理论和非线性色散波之间提供了明确的联系.Clamond 等[13]提出了一种新的浅水(等熵Euler)方程正则化方法，这种正则化的特征是光滑激波的传播速度与原始的不连续激波的传播速度完全相同，但要找到一个具有所有所需性质的正则项并不是一件轻而易举的事.Minbashian 等[14]利用PINN 算法求解了非凸通量函数的双曲守恒律方程，通过自动微分将在极限范围内保持平衡的带有扩散和色散正则化的方程纳入损失函数，通过考虑小规模的扩散项和色散项近似求解方程，但是正则化方程中的扩散和色散项的系数很难确定.受以上数值方法的启发，本文提出了一种正则化的PINN反问题方法来逼近无黏Burgers 方程的间断解.

本文基于PINN 算法，并结合文献[14]中解决双曲守恒律问题取决于潜在的正则化，提出了一种求解间断问题的新方法.在本文中正则项为在极限范围内保持平衡的扩散项，利用PINN 算法反向地求解扩散正则化方程中的小参数，继而用正则化方程的解逼近无黏Burgers 方程的间断解.最后通过与未正则化方程的数值结果进行比较，结果显示新算法在间断位置的分辨率更高.

考虑如下守恒律方程：

对于方程(1)的初值问题，即使初始条件是光滑的，其解也有可能在某一时刻发展成间断，经典解理论不再适用.因此，需要考虑方程的弱解，通常对于同一初值问题，弱解并不是唯一的，而满足熵不等式的弱解可使解的唯一性得到保证.受文献[14]以及Lax 的熵稳定条件与“黏性消失”机制等价思想的启发[15]，为避免非物理解的产生，在求解方程(1)时会人为地添加一些扩散项来控制熵的变化，当扩散项系数趋于零时的极限解称为黏性消失解，对应的扩散正则化方程可表示为

其中λ表示扩散系数且λ>0，当λ →0时得到方程(1).方程(4)在λ →0下的黏性消失解就是方程(1)的解.

考虑到双曲守恒律方程在间断处会出现熵增，为了达到熵稳定，需要添加扩散项来控制熵的变化，本文通过使用PINN 算法解决扩散正则化方程的反问题，训练出满足物理约束条件的扩散项，该方法能确定出扩散系数，且数值结果不会出现抹平和伪振荡现象.

2.1 网络结构

PINN 算法是一个简单的深度前馈神经网络，激活函数运用双曲正切函数.基本结构包括两个共享超参数的神经网络，一个是将(x,t)以坐标形式输入的全连接神经网络，用它来逼近u(x,t)，另一个是通过对网络函数应用自动微分[16]和算术运算所得的带物理模型的神经网络f(x,t).这两个网络对损失函数均有贡献，最后，利用优化算法获得神经网络的参数和扩散正则化方程的参数.网络结构如图1所示.

图1 网络结构示意图Fig.1 The diagram of the network structure

为了捕捉间断，引入扩散正则项，定义物理约束条件的神经网络如下：

在网络训练过程中，定义损失函数如下：

其中Lu指损失函数中数据驱动的部分，Lf指损失函数中物理模型驱动的部分.损失函数均使用均方误差来定义：

2.2 算法步骤

为了使算法更易用程序实现，下面总结出扩散正则化PINN 反问题算法的具体步骤：

步骤1选取训练集 T，以坐标(x,t)的形式为神经网络的输入量.

步骤2构造深度神经网络模型uNN(x,t;θ)来近似方程(1)的解u(x,t)，其中θ={W,b}为参数，W为权重，b是偏差.

步骤3通过模型uNN(x,t;θ)计算网络输出，对模型uNN(x,t;θ)应用自动微分技术并将其代入方程(3)得到残差网络f(x,t).最后判断网络输出值与训练集的均方误差、残差网络的均方误差之和是否小于理想误差，如果小于理想误差，停止训练，得到网络，否则更新权重和偏差，重复步骤3，继续训练网络，直至小于理想误差，找到最优参数λ和双曲守恒律方程初值问题的解.

2.3 模型训练

本文所有算例均使用TensorFlow 1.14 版本来训练.对网络参数采用Xavier 进行初始化，它可以保证输入和输出数据的方差一致，避免所有输出值都趋于零.为了使训练加速，训练网络时对输入数据进行归一化处理，并使用Adam 优化器和L-BFGS 优化器对损失函数进行优化.其中，Adam 通过自适应的学习率来加快收敛速度，L-BFGS 是一个全批量的优化算法，具有二阶收敛速度和占用内存小的优势.

下面将以一维和二维无黏Burgers 方程为例验证新方法的性能.本文对正则化方程和原方程分别采用两套网络进行训练和测试，为使结果具有可比性，这两套网络将针对同一问题使用相同的隐藏层数、神经元个数和迭代步数.

算例1满足连续初始条件的一维无黏Burgers 方程

计算区间[−1,1]，方程(2)满足如下初始条件：

u(x,0)=−sin(πx).

其精确解为

u(x,t)=−sin(πx−u(x,t)t),

满足Neumann 边界条件，时间计算到t=0.96.训练集的创建是从精确解的整个时间和空间中随机选取N=2 000个点，使用此训练集训练一个8 层的神经网络，每个隐藏层都含有60 个神经元.该网络使用LBFGS 迭代50000 步，经训练知：添加的扩散项的系数λ=0.000 74，并预测了t=0.3,0.6,0.9时刻的解.如图2所示，该算例的解在有限的时间内会产生激波，可以直观地看出，对于初值连续的方程，PINN 算法在未正则化方程的间断位置虽能捕捉激波，但会出现振荡，而新方法在间断处无伪振荡的产生且能很好地捕捉激波.

图2 例1 的数值结果对比图：(a)未正则化方程的精确解与预测解；
(b)正则化方程的精确解与预测解Fig.2 Comparison of numerical results for example 1:(a)exact and predicted solutions to unregularized equations;(b)exact and predicted solutions to regularized equations

算例2满足间断初始条件的一维无黏Burgers 方程

计算区间[−1,1]，方程(2)满足如下初始条件：

其精确解为

图3 例2 的数值结果对比图：(a)未正则化方程的精确解与预测解；
(b)正则化方程的精确解与预测解Fig.3 Comparison of numerical results for example 2:(a)exact and predicted solutions to unregularized equations;(b)exact and predicted solutions to regularized equations

算例3满足间断初始条件的一维无黏Burgers 方程

其精确解为

满足Neumann 边界条件，时间计算到t=1.5.训练集的创建是从精确解的整个时间和空间中随机选取N=3 000个点，使用该训练集训练一个8 层的神经网络，每个隐藏层都含有60 个神经元.先使用Adam 迭代10000步，再使用L-BFGS 迭代50000 步，经训练知：添加的扩散项系数λ=0.000 34，并预测了t=0.45,0.90,1.35时刻的解.如图4所示，该算例的精确解是由两个激波组成的，随着时间的演变，在某一时刻会合成一个激波.可以直观地看出，PINN 算法对未正则化方程双激波情形会出现严重的抹平现象且伴有振荡，而新方法在多个间断位置都能很好地捕捉激波.

图4 例3 的数值结果对比图：(a)未正则化方程的精确解与预测解；
(b)正则化方程的精确解与预测解Fig.4 Comparison of numerical results for example 3:(a)exact and predicted solutions to unregularized equations;(b)exact and predicted solutions to regularized equations

算例4满足连续初始条件的二维无黏Burgers 方程

计算区域[0,4]×[0,4]，方程(3)满足初始条件u0(x)=0.5+sin(π(x+y)/2).采用周期边界条件，时间计算到t=1.5/π.训练集的创建是从参考解(熵稳定格式[19]网格加密)的整个时间和空间中随机选取N=4 000个点，使用该训练集训练一个6 层的神经网络，每个隐藏层都含有40 个神经元.先使用Adam 优化器迭代50000 步，接着使用L-BFGS 迭代50000 步，经训练知：添加的扩散项系数λ=0.000 328，并预测了t=0.16,0.32,1.5/π时刻的解.如图5所示，为了直观比较，该算例画出了等值线图，可以看出对于连续初值问题，PINN 算法在未正则化方程和正则化方程的间断位置捕捉激波的能力相当.

图5 例4 的数值结果对比图：(a)未正则化方程的精确解与预测解；
(b)正则化方程的精确解与预测解Fig.5 Comparison of numerical results for example 4:(a)exact and predicted solutions to unregularized equations;(b)exact and predicted solutions to regularized equations

算例5满足间断初始条件的二维无黏Burgers 方程

计算区域[0,1]×[0,1]，方程(3)满足如下初边值条件：

其精确解为

满足Neumann 边界条件，时间计算到t=0.5.训练集的创建是从精确解的整个时空域中随机选取N=5 000个点，使用该训练集训练一个9 层的神经网络，每个隐藏层含有60 个神经元.先使用Adam 优化器迭代50000步，接着使用L-BFGS 迭代50000 步，经训练知：添加的扩散项系数λ=0.000 08，并预测了t=0.25,0.35,0.45时刻的解.如图6所示，该算例的精确解含有激波，可以直观地看出，随着时间的推进，PINN 算法在未正则化方程的间断位置出现严重抹平现象，而新方法能很好地捕捉激波.

图6 例5 的数值结果对比图：(a)未正则化方程的精确解与预测解；
(b)正则化方程的精确解与预测解Fig.6 Comparison of numerical results for example 5:(a)exact and predicted solutions to unregularized equations;(b)exact and predicted solutions to regularized equations

本文提出了一种扩散正则化的PINN反问题求解算法，通过优化损失函数来减少真解与数值解之间的误差，训练出满足物理约束条件的参数，从而得到了一种有效求解无黏Burgers 方程的新方法.数值试验表明，该方法对连续初值和间断初值问题都能很好地捕捉激波.在具体的数值模拟中发现，在训练数据受到噪声干扰的情况下，精度会有所降低，扩散系数也随之发生微小变化.如何在存在噪声数据的情况下仍能得到高精度的数值结果，还需进一步研究.在下一步的研究中，可将该神经网络模型得到的扩散项作为构造传统的高分辨率数值格式的参考依据，另外，也可将这种正则化处理的方法应用到一般的双曲守恒律方程中.