物理增强的latent Fourier神经算子，用于高效求解偏微分方程

《Neurocomputing》：Physics-augmented latent Fourier Neural Operator for efficient partial differential equation solving

　　陆先锋|刘永明
亚利桑那州立大学物质、运输与能源工程学院，坦佩，AZ 85281，美国

**摘要**
傅里叶神经算子（FNOs）在求解偏微分方程（PDEs）方面取得了显著的成就。然而，随着系统维度的增加，它们的性能往往会下降，并且通常缺乏对物理约束的结合，而这对于实际应用至关重要。为了解决这些挑战，提出了物理增强的潜在傅里叶神经算子（PAL-FNO）框架，该框架将潜在空间学习与基于物理的约束相结合，以提高计算效率和预测的鲁棒性。该框架使用自动编码器（AE）从高维输入和输出中提取低维潜在表示，使得FNO能够在这一降维空间中进行训练。预训练的AE解码器随后将解投影回高维空间，在此处应用由控制方程得出的基于物理的损失项以确保物理一致性。为了解决解码损失导致的微分不准确性，PAL-FNO引入了两种替代策略：（i）在AE训练期间加入平滑模块以抑制解码噪声；（ii）额外训练一个神经微分器来构建物理约束。数值实验表明，PAL-FNO在保持高预测准确性的同时显著提高了计算效率，为求解高维PDEs提供了一个可扩展且鲁棒的框架。

**引言**
许多动态系统的行为受到各种领域中偏微分方程（PDEs）的支配，包括物理学、化学、生物学和力学[37][4][43][44][61]。由于复杂的边界条件和高度非线性项，封闭形式的解在现实世界问题中往往不可行，因此数值方法（如有限差分方法、有限元方法和谱方法）已成为求解PDEs的主要方法[13][2][3][57]。然而，这些传统的数值方法通常计算成本高昂，并且随着系统复杂性的增加难以提供实时解，限制了它们在许多实际场景中的应用[1][14][20][29][40]。作为一种有前景的替代方案，深度神经网络（DNNs）在过去十年中被广泛用于求解PDEs，并且受到了越来越多的关注[10][16][30][5][59][6]。与通过在运行时通过离散化和数值求解器迭代计算导数的方法不同，神经算子在预训练阶段就构建了一条前向推理路径，一旦训练得当，就能够以最小的计算成本近乎实时地估计复杂系统。作为在有限维空间中学习映射的传统DNNs的改进，神经算子旨在近似功能空间之间的算子，从而在不同分辨率下实现更好的泛化[26]。在现有的神经算子模型中，傅里叶神经算子（FNO）框架在动态分析中显示出了有效性[18][19][21][46]。在FNO中，PDE求解器被表示为一个通过一系列神经网络模型化的积分算子，包括提升层、傅里叶层和投影层。具体来说，每个傅里叶层依次应用快速傅里叶变换（FFT），对低频模式进行线性变换，然后应用逆FFT，输出通常通过卷积权重矩阵进行增强并通过激活函数引入非线性。此外，还提出了一些变体，例如在小波神经算子（WNO）[48]中表现出出色的空间行为捕捉能力，以及在拉普拉斯神经算子（LNO）[7]中有效近似瞬态响应的能力。尽管FNO在学习PDE求解器方面表现出色，但仍存在一些挑战。本研究关注两个关键方面：首先，高维仿真的巨大复杂性和规模往往需要准确建模物理系统，这引入了优化效率低下的问题并阻碍了有意义的模式的提取；其次，作为依赖于标签的模型，当只有来自隐式解的稀疏标签可用时，神经算子难以近似真实求解器。后者在现实世界应用中尤为突出，因为测量工具的物理限制（例如激光扫描的分辨率限制）使得收集高保真数据变得困难，进一步限制了这些模型的有效性。这些挑战凸显了改进FNO框架的必要性。在基础FNO模型的基础上，研究人员提出了各种方法来提高计算效率和准确性。例如，You等人[56]提出了隐式傅里叶神经算子，通过将时间离散化与网络深度联系起来，提高了稳定性和效率，在特定建模任务中表现出了优越的性能。Zhao等人[62]实施了一种策略，在训练期间逐步增强FNO的关键参数（包括频率模式和分辨率），尽管这种方法简单，但在Burgers方程案例中将测试损失降低了15%，计算成本降低了35%。Lyu等人[28]将迁移学习与改进的FNO框架相结合，整合了网格独立性、多保真度建模和高效的参数共享，以利用低保真数据进行预训练。由于只需要少量高保真数据即可进行微调，这种方法至少达到了完全训练模型86%的准确性，同时显著减少了生成高保真数据相关的计算成本。虽然这些方法在特定应用中展示了优势，但它们仍然建立在原始FNO架构之上，主要旨在提高数据效率和训练性能，而不是试图捕捉功能空间的内在复杂性。这种复杂性由物理约束与解的规律性之间的相互作用塑造，通常表现为一个低维流形。解决这些限制的一个有前景的方向是探索功能空间的低维潜在表示，以实现更高效和可扩展的模型训练。许多现有的生成模型在降维的同时生成高质量的潜在空间方面具有巨大潜力。这些模型通常包含将原始数据空间与潜在表示映射的机制。本研究关注自动编码器（AE）模型，因为它们概念简单、应用广泛且实现直接，非常适合探索高效的降维[31][36][38][51][52][53][54][60][63]。文献综述强调了几个关于潜在空间预测的研究[17][42][45][50][9]，其中长短期记忆（LSTM）网络和深度算子网络（DeepONet）等工具已在较低的计算成本下成功训练。然而，FNO与预训练AE的结合尚未得到充分探索。

**关于收集高保真数据的难度**，一个有前景的方向是通过将物理信息整合到模型训练中来指导学习，以确保预测与控制规则保持一致。物理增强方法通常分为三类：输入嵌入、输出约束和架构设计。输入嵌入[23][64]方法将物理派生的特征加强到输入中，可以加速训练，但依赖于专家的特征设计，并不保证跨系统的物理一致性。架构设计[32][55]将物理结构编码在网络层和内核中，提供了强的归纳偏差，但往往特定于问题且难以在多个PDE家族中泛化。在这个分类中，输出约束范式[15][27][34][57]在物理可解释的空间中对模型输出执行方程，并且即使标签有限也能提供强大的指导。因此，本研究采用了输出约束范式。代表性实现使用数值方案（如中心差分）评估PDE残差，从而从输出域中恢复导数信息[22]。当FNO在潜在空间中训练时，预测场必须解码回物理域以计算导数，而这个解码步骤不可避免地引入了信息损失[25][33][8]。编码阶段可能会为了符合潜在空间约束而丢弃细节，这引入了解码输出的噪声和不准确性。由于微分放大了小偏差，解码输出中的噪声会显著扭曲计算出的导数，降低了需要精确梯度信息的应用的可靠性，特别是对于与高阶导数相关的情况。因此，迅速增加的物理残差在训练期间无法作为有效的约束。Nguyen等人[35]提出了一种基于傅里叶的谱过滤方法来减少计算导数时受到噪声污染的信号，有效抑制了高频噪声并提高了数值稳定性。然而，这种方法对于非线性问题具有挑战性，因为谱分析的难度以及每个前向-后向过程中的计算成本大幅增加，使其难以直接整合到网络训练中。尽管基于AE的方法在科学计算中非常普遍，但很少有研究系统地检查它们对解码空间内导数计算的影响，这突显了现有研究中的一个重要空白。

**为了解决在高维空间中应用FNO时面临稀疏标签的挑战，本文提出了物理增强的潜在傅里叶神经算子（PAL-FNO）框架。**使用适当训练的AE来识别一个功能潜在空间，在此空间内进一步训练FNO模型以显著降低计算成本近似底层算子。为了提高解码空间中导数计算的准确性，引入了两种关键策略。第一种策略在AE训练期间采用平滑模块（SM）以确保局部梯度一致性。第二种策略利用预训练的神经微分器（ND）作为近似导数求解器来有效映射全局功能空间。值得注意的是，一些物理增强框架的共同动机是提高泛化性能，特别是在分布外（OOD）变化的情况下，因为观察到原始FNO模型容易受到影响。最近的研究探讨了应用物理知识来增强FNO模型对OOD行为的可靠性和鲁棒性[11][12][58][65]。相比之下，本工作的范围限于分布内算子学习，主要目标是在使用低保真标签的潜在空间解码时确保可靠的导数评估和稳定的基于物理的约束。将PAL-FNO扩展到系统的OOD评估是未来工作的一个自然且重要的方向，具体内容将在结论部分详细说明。

**本文的其余部分组织如下。第2节概述了PAL-FNO框架，提供了对所提出方法的基础理解。第3节详细介绍了四个PDE求解案例的数值实现和结果。最后，第4节总结了本研究的关键发现和结论。**