通过交替进行简单和困难的任务训练，PINN的准确性更加稳定

《Computers & Mathematics with Applications》：More consistent accuracy PINN via alternating easy-hard training

　　赵千高|杨敏
中国烟台大学数学与信息科学学院，烟台

**摘要**
物理信息神经网络（PINNs）近年来作为一种解决偏微分方程（PDEs）的突出范式而出现，但其训练策略仍不为人所充分探索。虽然受到有限元方法启发的硬优先级识别方法被广泛采用，但最新研究表明，软优先级识别方法也同样有效。然而，我们发现这两种方法都存在显著的权衡，并且在不同类型的PDE上表现不一致。为了解决这个问题，我们开发了一种混合策略，通过交替训练算法结合了硬优先级识别和软优先级识别的优势。在具有陡峭梯度、非线性和高维度的PDE上，所提出的方法能够一致地获得高精度，大多数相对L2误差在O(10^-5)到O(10^-6)的范围内，显著优于基线方法。此外，它在不同问题上的可靠性也更强，而相比之下，其他方法? ???? PDE? ?? ??? ??。这项工作为设计混合训练策略以提高PINNs的性能和鲁棒性提供了新的见解。

**引言**
深度学习的快速发展彻底改变了科学计算，为建模复杂物理系统提供了新的解决方案 [1][2][3][4][5]。在这些进展中，物理信息神经网络（PINNs）通过基于残差的损失函数将偏微分方程无缝集成到神经网络训练中，已成为一个重要的框架 [6][7][8][9][10]。通过结合数据驱动的灵活性和物理一致性，PINNs规避了计算成本高昂的网格生成需求，并在解决参数化和高维偏微分方程（PDEs）方面展示了卓越的能力 [11][12][13][14][15]。然而，它们的有效性经常受到一个关键挑战的妥协：损失组分的异质性贡献，这导致解决方案精度不稳定 [16][17][18][19][20]。

为了提高PINNs的精度和稳定性，两种看似不同的训练策略已经被广泛研究。第一种策略是硬优先级识别，在PINN训练过程中通过重采样或自适应加权技术识别和强调高损失样本点 [21][22][23][24][25]。这种策略迫使模型关注PDE域中更具挑战性的区域，从而帮助其捕捉更本质的物理特性。例如，基于残差的自适应采样会在残差损失较大的计算区域自动添加更多样本点 [25]。Luo等人 [23] 提出了基于残差的Smote（RSmote）技术，这是一种创新的局部自适应采样技术，旨在通过不平衡学习策略提高PINNs的性能。Gu等人 [21] 提出了SelectNet，这是一个自定步长的学习框架，在训练过程中强调高损失样本点。Liu和Wang [22] 开发了一种具有Mini-Max架构的物理约束神经网络（PCNN-MM），同时更新网络权重（通过梯度下降）和损失权重（通过梯度上升），目标是权重空间中的鞍点。McClenny和Braga-Neto [24] 通过提出自适应PINN（SAPINN）改进了这种方法，该方法自适应地为较大的单个样本损失分配更大的权重。

第二种策略是软优先级识别，它从人类课程学习 [26][27][28] 中获得灵感，最初关注较简单的样本或任务，然后逐渐增加难度水平 [20][29][30][31]。这种方法可以在早期阶段减少训练不稳定性，并促进更快的收敛。Krishnapriyan等人 [29] 将课程学习（CL）方法应用于PINNs，通过逐步引入高频分量或细化时空域。Monaco和Apiletti [31] 提出了一种新的课程正则化策略，以实现在任务难度增加时的参数值平滑过渡。Wang等人 [20] 通过为边界或内部层等挑战性区域分配较低权重来处理对流主导的扩散方程，以提高解决方案精度。最近，Li等人 [30] 提出了异常感知PINN（AAPINN），通过识别和排除困难的高损失样本来增强鲁棒性和精度。

尽管这两种训练策略在提高PINNs性能方面都取得了实证成功，但由于缺乏系统的比较分析，它们在解决PDE时的相对优点和固有权衡仍不清楚。为了填补这一空白，本研究首先基于一个简单的示例对这两种训练方法进行了比较。我们的实验表明，软优先级识别方法倾向于强调解决方案的整体结构——捕捉在整个域中主导PDE行为的光滑、低频组分 [32]。相比之下，硬优先级识别策略更倾向于关注具有更高复杂性的局部区域，如梯度陡峭、奇点或解特征变化迅速的区域，这些区域通常更难以学习。另一个重要的观察结果是，两种策略之间没有一致的优势。在某些情况下，硬样本优先级识别方法产生更好的结果，而在其他情况下，软样本优先级识别方法更有效。值得注意的是，即使是同一个PDE，方程系数的变化也可能改变两种策略之间的优势。这些发现表明，现实世界中的PDE通常是复杂的，可能不适合采用一刀切的训练策略。

为了解决这一挑战，我们提出了一种结合软优先级识别和硬样本优先级识别优势的混合训练框架。具体来说，所提出的方法在两个训练阶段之间交替进行，每个阶段都由不同的优化目标引导。第一阶段采用硬优先级识别策略，使用最小-最大框架优化加权PINN损失函数。第二阶段切换到软优先级识别策略，使用异常感知机制逐步关注硬样本并最小化标准（未加权的）PINN损失。在每个训练周期中，这两个阶段交替执行。这种交替结构确保了软样本学习和硬样本学习之间的动态平衡，从而提高了PINNs的魯棒性和泛化能力。鉴于其在软阶段和硬阶段之间的交替特性，我们将这种方法命名为交替软硬PINN（AEH-PINN）。实验结果表明，所提出的AEH-PINN通过克服其精度权衡，一致地在大多数具有挑战性的PDE上实现了优于现有训练策略的性能，相对L2误差在O(10^-5)到O(10^-6)的范围内。

本文的其余部分组织如下。第2节简要概述了PINNs，并引入了一个简单的示例来比较硬优先级识别和软优先级识别策略，这激发了我们提出的方法。第3节介绍了所提出的混合训练方法。第4节报告了在各种PDE上的实验结果，并将我们的方法与几种基准PINN方法的性能进行了比较。第5节总结了本文。

**物理信息神经网络**
我们首先简要概述了PINNs [33]。考虑一个具有初始条件和边界条件的一般PDE：
$$
N[u(x,t)] = 0, \quad (x,t) \in \Omega \times (0,T), \quad B[u(x,t)] = 0, \quad (x,t) \in \partial \Omega \times (0,T), \quad u(x,0) = h(x), \quad x \in \Omega,
$$
其中 $u(x, t)$ 表示PDE的解，$N[·]$ 是一个（可能是非线性的）微分算子，$B[·]$ 表示可以编码各种类型边界条件的边界算子，包括Dirichlet、Neumann、Robin和周期性条件。

**所提出的方法**
为了平衡PINN训练中软优先级识别和硬优先级识别策略之间的固有权衡，我们提出了一个结合这两种范式的混合框架。该框架包括两个关键阶段。第一阶段是加权对抗阶段，受到SAPINN [24] 的启发，通过最小-最大优化过程动态调整样本权重来优先考虑困难区域。第二阶段是软优先级识别阶段，借鉴了AAPINN [30] 的思想，通过排除某些样本来优先考虑困难区域。

**设置**
我们在本节评估所提出的方法。PINN架构由四个隐藏层组成，每层有50个神经元，使用He初始化 [39] 初始化。整个网络使用Tanh激活函数。为了比较，我们考虑了几种PINN基线方法：
1. RAD [25]：动态为残差损失较大的区域分配更多采样点，使模型能够关注其表现较差的区域。
2. SelectNet [21]：一个强调更困难样本的学习框架。

**结论**
许多现有的PINN训练策略借鉴了传统有限元方法中的自适应算法，这些算法通常强调在残差较大的区域精细化或重新加权样本——这种方法被称为硬优先级识别。然而，深度学习与传统的数值方法有根本的不同。作为一种基于学习的范式，根据问题的不同，硬优先级识别和软优先级识别策略都可以有效。

**代码可用性声明**
用于生成本研究结果的代码在Zenodo上公开可用，地址为：
https://doi.org/10.5281/zenodo.19687813