《Computer Methods in Applied Mechanics and Engineering》：Latent attention operator network with augmented representation for complex PDE systems in intricate geometries
编辑推荐：
本文提出隐空间注意力操作网络（LAON），通过物理自适应门控编码机制与隐空间操作回归的协同，有效捕捉复杂几何域中的局部非线性物理动态。实验表明LAON在多种PDE基准测试和实际工业场景中优于现有模型，相对精度提升超10%。
作者：Lehan Sun、Zhiming Li、Qianchuan Zhao
单位：清华大学自动化系智能与网络系统研究中心，中国北京
摘要
潜在空间神经替代模型作为一种强大的算子学习方法，具有较高的预测准确性、计算效率和架构灵活性。尽管具有这些优势，现有方法往往存在潜在物理模式退化以及无法充分捕捉动态物理相互作用的问题，尤其是在几何结构复杂或物理耦合的领域中。为了解决这些问题，我们提出了潜在注意力算子网络（LAON），它将门控的物理自适应内在模式编码机制与潜在空间算子回归相结合。这种协同作用使得在任意几何域中对复杂物理场的演变和相互作用进行高保真建模成为可能，显著提升了捕捉局部非线性动态的能力。我们在一系列偏微分方程（PDE）基准测试和来自现实汽车行业的具有挑战性的场景中系统地评估了LAON的性能。实验结果表明，LAON的性能优于主流的基于注意力的神经PDE替代模型，在多个任务中实现了超过10%的相对提升，证明了其在模拟潜在物理特性方面的优越性。
引言
物理过程的建模和仿真是科学研究和工程应用的基础。它们在流体力学[1]和地球物理学[2]等学科中发挥着关键作用，并且在从空气动力学设计[3]到心血管诊断[4][5]等工业领域中也非常重要。这些物理过程通常由偏微分方程（PDE）及其相关的守恒定律来描述，而其准确高效的数值解仍然是一个核心挑战。传统的数值求解方法（如有限元方法和有限体积方法）虽然可以通过网格细化实现高精度，但常常面临计算成本高、难以对复杂几何形状进行网格划分以及对数值噪声敏感等限制。这些限制促使人们越来越关注数据驱动的替代模型，以加速物理过程仿真并深入理解其背后的机制。
用于PDE的数据驱动替代模型大致分为两类：基于投影的降阶模型（ROMs）和神经替代模型。基于投影的ROMs[6][7][8][9]采用侵入式或非侵入式策略将解投影到降阶基空间，将原始问题重新表述为基函数系数的学习过程。虽然在这些特定情况下有效，但它们的求解性能严重依赖于高保真数据的可用性和问题的良好结构化表述，且在处理涉及复杂几何配置的问题时适应性有限。
深度学习的最新进展推动了基于神经网络的替代模型的快速发展，这些模型旨在为复杂物理系统构建高效准确的数据驱动替代模型。其中，算子学习方法[10][11]成为了一个有前景的研究方向。与物理信息神经网络（PINNs）[12][13]不同，后者通过最小化残差损失来求解单个PDE实例，算子学习直接逼近问题参数到解函数之间的映射。这种基于算子的框架能够快速推理并在广泛的输入条件下进行泛化，包括分布外的情况，因此非常适合许多科学和工程应用。
尽管取得了最新进展，算子学习方法在复杂几何形状上准确求解PDE时仍面临挑战，尤其是在不规则或非结构化领域中。为了解决这个问题，一些研究探索了使用图神经网络（GNNs）作为PDE替代模型[14][15]，利用它们通过局部消息传递处理非结构化网格数据的能力。尽管GNN基方法在捕捉局部相互作用方面表现出色，但在模拟长距离依赖性和全局物理结构时往往存在困难，尤其是在大规模或高度耦合的系统中。作为回应，潜在空间神经替代模型受到了越来越多的关注。这些方法旨在将内在物理模式提取到紧凑的潜在表示中，从而提高算子学习在复杂领域中的可扩展性和灵活性。
潜在空间方法通过将高维输入数据投影到表示内在物理模式的低维流形上来处理PDE的复杂性。然后在这个潜在空间中进行算子学习，以模拟这些模式之间的相互作用并捕捉物理系统的演变[16][17]。然而，大多数现有方法依赖于全局聚合的潜在表示，这限制了它们解析局部物理动态的能力。这种全局编码通常会导致潜在模式的同质化，使不同的物理模式变得模糊，尤其是在空间变化剧烈或多物理耦合的区域，从而降低模型的保真度[18]。准确识别特定区域的潜在模式并提高模型对局部变化的敏感性对于减轻模式退化和在复杂几何形状上改进潜在空间算子学习至关重要。
为了克服现有潜在神经PDE替代模型的局限性，特别是它们在捕捉精细局部物理和潜在物理模式退化方面的不足，我们提出了一种新型模型，称为潜在注意力算子网络（LAON）。LAON提出了一个物理自适应的潜在空间学习框架，旨在改善内在物理模式的表示和复杂相互作用的建模。具体来说，我们方法的核心是一个门控的潜在模式编码机制，该机制能够动态响应输入的物理场。通过执行物理特征选择和空间加权，它在空间到潜在的映射中实现了逐点的自适应稀疏性，从而增强了由物理规律控制的局部特征的提取。在潜在空间学习中，利用潜在物理模式的熵重要性因子来指示代表复杂物理特性的相关模式。这通过熵加权的注意力机制促进了潜在空间中物理动态的更准确建模。我们在一系列PDE基准测试中评估了LAON的性能，包括标准任务和来自汽车行业的大规模3D场景。实验结果表明，LAON具有竞争力强的准确性，能够很好地捕捉潜在的物理行为，并且能够适应复杂的几何形状。
总体而言，本研究的主要贡献如下：
- 1.
我们提出了一种门控的物理自适应编码机制，使每个局部区域能够动态关注其最相关的物理特性。这有助于有效的特征解耦，从而产生更具区分性的潜在物理模式表示。
- 2.
为了更好地捕捉潜在物理模式之间的相互作用，我们将熵信息整合到注意力因子中，克服了潜在空间学习中复杂物理动态表示不足的问题。
- 3.
在多种PDE基准测试中的全面实验表明，LAON的性能优于现有的基于注意力的神经PDE替代模型，在涉及复杂或不规则几何形状的场景中实现了超过10%的相对提升。
部分摘录
算子学习
虽然物理信息神经网络[13]推动了深度学习在物理系统建模中的应用，但它们在泛化能力、计算效率和适用于具有稀疏或不确定物理信息的复杂系统方面仍存在局限性。作为替代方案，算子学习因其能够近似两个无限维函数空间之间的映射而受到越来越多的关注。
方法
为了提高潜在神经PDE替代模型捕捉局部物理动态的能力并减轻模式退化，我们提出了潜在注意力算子网络（LAON）。LAON的核心是一个算子回归层，它执行三个步骤的过程：首先对输入特征进行稀疏编码，将其映射到潜在物理空间；然后捕捉内在物理模式的全面相互作用；最后进行解码。
实验
在本节中，我们对提出的潜在注意力算子网络（LAON）进行了数值仿真，以验证其有效性。为了全面评估其在涉及复杂几何域的各种PDE问题中的实际性能，实验数据集涵盖了从2D非结构化网格问题到具有复杂几何配置和3D工业应用的各种场景：
结论与未来工作
在本文中，我们提出了用于复杂几何域中PDE问题的潜在注意力算子网络（LAON）。我们设计了一种门控评分机制，该机制在潜在空间中生成高质量的物理模式表示，确保了物理本质的更准确编码。此外，在潜在空间学习阶段，LAON采用由模态熵加权的注意力机制，系统地增强了模型捕捉物理相互作用的能力。
作者贡献声明
Lehan Sun：撰写 – 审稿与编辑、撰写 – 原稿、方法论、调查、形式分析、概念化。Zhiming Li：可视化、验证、软件、数据管理。Qianchuan Zhao：撰写 – 审稿与编辑、监督、资源管理、项目协调、概念化。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
