利用时空注意力卷积物理感知神经网络求解多维热传导方程

《Neurocomputing》：Solving multidimensional heat conduction equations with spatiotemporal attention convolutional physics-informed neural network

　　肖俊华|杨哲成|刘博扬|张金宏|梅良才
北京工业大学，珠海，广东，519088，中国

摘要
传统的基于网格的求解器以及许多现有的物理信息神经网络（PINNs）在处理多维、多尺度热传导问题时仍然存在局限性。主要瓶颈包括维数灾祸、谱偏差和训练动态不稳定。为了解决这些问题，我们开发了时空注意力-卷积物理信息神经网络（ST-AC-PINNs）来求解多维热传导方程。在标准PINNs框架内，ST-AC-PINNs结合了时空解耦架构和卷积通道注意力模块来捕捉多尺度空间结构，并进一步引入了进度感知的动态加权策略，从而在相同的物理信息学习范式下提高训练稳定性和物理收敛性。数值实验表明，ST-AC-PINNs具有高精度和稳定的训练行为，可以有效地应用于复杂的多维热扩散问题，尽管在多维设置中计算成本有所增加。

引言
在物理和工程学中，热传导方程作为典型的抛物型偏微分方程，在热传递[1]、材料扩散[3]和地球科学[4]等领域发挥着基础性作用。对于一维或低维问题，传统的数值方法（如有限元方法[FEM][5]和有限差分方法[FDM][6]可以提供稳定且高精度的数值解。特别是基于Hessian恢复的FEM在近年来对双谐波方程及相关相场模型[7][8]的精度有所提高。然而，随着问题维数的增加，网格尺寸和计算复杂性呈指数级增长，导致贝尔曼[9]所描述的“维数灾祸”。
近年来，基于深度学习的方法为缓解维数灾祸提供了实用的方法[10][11]，并且越来越多地被用作求解多维偏微分方程（PDEs）的工具[12]。历史上，使用神经网络来近似PDE解可以追溯到Dissanayake等人[13]（1994年）的工作，随后Lagaris等人[14]（1998年）进一步发展了用于常微分方程和偏微分方程的人工神经网络。2019年是一个关键里程碑，Raissi等人[15]引入了物理信息神经网络（PINNs）。通过将PDE残差和边界条件嵌入损失函数中，PINNs建立了一个统一的无网格训练框架，在优化过程中同时满足控制方程和边界数据[16][17]。这种无网格格式特别适用于复杂几何形状和非线性系统，并促进了其在应用科学和工程领域的快速采用[18]；如分段PINNs这样的扩展进一步提高了对非光滑解的适用性[19]。除了“纯”PINNs之外，最近的无网格和混合无网格求解器越来越多地将经典基函数技术与基于物理的边界/参数识别策略结合起来。代表性的例子包括用于各向异性材料中的正向和逆向热传导的径向基函数（RBFs）物理信息框架[20]、用于多层介质中的稳态热传导的多域PINNs[21]，以及结合基本解和PINNs或基本解神经网络的混合自适应方案，用于边界主导和逆向Cauchy问题[22][23]。总的来说，这些发展指出了一个扩展的方法论景观——从无网格PINNs到域分解的、基函数增强的和自适应的混合格式——为不规则域、逆问题以及边界敏感问题提供了互补的工具，并支持我们对于时空解耦、局部空间嵌入和鲁棒时间稳定的设计选择[24]。
尽管有这些进步，但随着问题规模或维数的增加，PINNs仍然面临内在困难。实践中经常出现两个问题：收敛速度变慢，以及有效表达能力不足。这两种效应通常与梯度流的退化有关[25][26][27]。另一个相关障碍来自主干网络本身。标准MLP架构表现出谱偏差，这种偏差使得低频和高频成分的同时近似变得复杂[28][29]。这些限制推动了一系列架构和算法的发展[30]。在当前背景下，这些发展激发了我们的ST-AC-PINNs设计：结合了显式的时间衰减先验、多尺度卷积空间嵌入和基于注意力的通道重加权，以及进度感知的损失调度器，从而在稳定训练的同时提高表示保真度。
为了解决这些限制，先前的工作沿着两个主要互补的方向进行了探索。一个方向强调优化和收敛，包括基于域分解的XPINNs[31]、自适应损失平衡策略[32]、混合网格/p-物理约束格式（如M-PINNs[33]）以及受图或Galerkin启发的架构[34]。另一个方向并行发展，通过谱域和算子学习范式来解决谱偏差问题，特别是DeepONet[37]、傅里叶神经算子（FNO）[35]及其相关变体[36]。通过利用傅里叶变换或直接学习解算子，这些方法通常能更有效地表示多尺度频率内容。然而，这些改进涉及明显的权衡。依赖于网格或分解的方法在更高维度设置中可能效率低下，而其他方法则难以在全局结构表示和精细谱特征描述之间取得平衡。总体而言，该领域已经从以网格为中心的FEM发展到由PINNs引入的无网格表示，再到必须同时面对收敛性和谱特征描述的谱域/算子学习框架。这种转变是从“精细离散化”到“物理引导的无网格表示”。即便如此，多维、多尺度问题仍然需要超越现有设计的新架构。
我们注意到，ST-AC-PINNs方法与最近提出的分离变量谱神经网络（SV-SNN[38]具有相似的分离变量建模直觉，但两个框架在关键设计选择和预期应用领域上有所不同。SV-SNN将解决方案构建为模态之和（方程1）：并使用可学习的频率自适应地参数化空间模式，这允许对空间导数进行解析表达，并支持基于SVD的有效秩诊断等谱秩分析，这对于高频振荡PDE特别有利。相比之下，ST-AC-PINNs采用了更强的乘法先验（方程2）：单积或低秩近似，并通过显式的TimeNet实现这种先验来编码热耗散（例如方程3）：以及通过多尺度卷积和通道注意力构建从局部到全局的空间表示的SpaceNet。实际上，SV-SNN强调全局谱表达能力和理论谱诊断，而ST-AC-PINNs强调物理引导的时间先验、局部多尺度空间特征提取以及通过进度感知的动态加权方案实现的训练鲁棒性；这些差异使得SV-SNN和ST-AC-PINNs是互补的而不是冗余的。
基于上述观察，并考虑到热传导问题在工程中的核心地位，但传统解决方案方法通常精度有限且误差控制不足，我们提出了时空注意力卷积物理信息神经网络（ST-AC-PINNs），这是一种具有显式时空分离先验的无网格网络架构。这种方法旨在解决PINNs中的精度和谱偏差问题，同时保持物理一致性。该模型结合了物理引导的解耦先验，并整合了三个关键模块来应对特定挑战：TimeNet子网用于显式建模热耗散；SpaceNet空间卷积嵌入模块，通过多尺度卷积和通道注意力重加权来提取和自适应地加权空间特征；以及进度感知的动态权重调度器，在优化过程中平衡PDE残差和边界条件。这种设计既强化了物理信息的显式表示，又减轻了训练效率低下和谱偏差，从而能够更准确地分析热传导中的多尺度结构，后续实验将验证这一点。
为了说明问题设置，我们考虑了-维空间中的均匀热方程（方程4）：其中表示温度场，表示热扩散系数。在这项工作中，我们考虑具有均匀狄利克雷边界条件和预设初始场的被动扩散（方程5）：
在这些约束下，解决方案通常表现出指数衰减的时间尺度以及具有多向耦合的空间扩散结构；这正是我们选择使用时空分离并结合卷积注意力来同时捕捉时间衰减模式和局部-全局空间表示的理由。
本文的其余部分组织如下：第2节详细介绍了ST-AC-PINNs的网络架构和训练策略；第3节通过两组数值实验验证了该方法的准确性、稳健性和稳定性；第4节总结了本文并讨论了未来的研究方向。

### 数值示例
###时空注意力-卷积物理信息神经网络
为了提高处理多维热传导问题的建模能力，本文提出了一种结合了时空解耦、基于卷积的空间建模和通道注意力的神经网络架构，称为时空注意力卷积物理信息神经网络（ST-AC-PINNs）。该方法通过将热传导控制方程的残差嵌入损失函数来保留PINNs的核心思想。同时，该架构

### 结论
提出的ST-AC-PINNs通过结合时空解耦先验、TimeNet、SpaceNet和进度感知的动态损失加权方案，解决了传统PINNs在多维热扩散问题中的收敛缓慢和谱偏差问题。在数值实验中，该模型在多维热传导方程上明显优于传统的基于网格的方法：点误差减少，总体误差分布更加...

### 作者贡献声明
肖俊华：撰写——原始草稿、可视化、验证。
杨哲成：撰写——原始草稿。
刘博扬：撰写——审阅与编辑。
张金宏：监督。
梅良才：撰写——审阅与编辑、方法论、资金筹集。

### 利益冲突声明
作者声明以下可能的财务利益/个人关系，这些可能被视为潜在的竞争利益：
梅良才报告称得到了珠海北京工业大学的财务支持。梅良才报告与珠海北京工业大学存在包括就业关系。如果有其他作者，他们声明没有已知的可能影响研究的财务利益或个人关系。

### 致谢
作者感谢审稿人的评论，这些评论提高了论文的清晰度和质量。本研究得到了两个研究项目（2023KTSCX183, 2025023DCXM）和广东省关键领域研发专项项目（2024ZDZX2096, 2024KCXTD054）的支持。
肖俊华目前正在珠海北京工业大学攻读数据科学与大数据技术的学士学位，他的研究兴趣包括基于深度学习的偏微分方程求解器、目标检测和人工智能应用。