MTformer：一种基于物理原理的时空变换器，适用于复杂动态系统建模

《Knowledge-Based Systems》：MTformer: A physics-guided spatio-temporal transformer for complex dynamic system modeling

　　郝天|向昭|赵宇阳|谢传流|王永梅
安徽农业大学信息与人工智能学院，中国安徽省合肥市

**摘要**
在流体力学和天气预报等系统中准确地建模复杂的时空动态仍然是一个巨大的挑战，因为需要在长距离依赖性和数值稳定性之间取得平衡。传统的基于CNN和RNN的框架在捕捉全局依赖性方面能力有限，并且容易出现误差累积。虽然最新的基于Transformer的模型在捕捉全局相关性方面表现出色，但它们缺乏明确的物理归纳偏见，导致它们过度拟合统计噪声而非潜在的动态规律，从而产生非物理的高频振荡，这些振荡被称为“物理伪象”，这削弱了长预测期的稳定性。为了解决这些问题，我们提出了MTformer，这是一种基于物理指导的模型，它建立在系统的交错演化框架之上。我们的主要贡献是将TD-Blocks和傅里叶神经算子（FNO）直接集成到门控Transformer的核心结构中，实现了在神经驱动的注意力和算子驱动的物理约束之间自我校正的特征演化。在这种架构中，门控Transformer捕捉复杂的时空非线性，而TD-Blocks嵌入了拉普拉斯类型的平滑先验以减轻非物理漂移。同时，FNO组件细化了全局频谱表示，以保持多尺度的一致性。广泛的实验证明了MTformer的有效性。在TaxiBJ城市交通预测基准测试中，该模型取得了0.271的均方误差（MSE）和14.31的平均绝对误差（MAE），优于所有对比的现有技术。在强非线性流动动力学的Navier–Stokes基准测试中，MTformer也展示了出色的长期预测准确性和稳定性。这些结果表明，所提出的框架通过结合全局注意力、频谱建模和受拉普拉斯启发的时间正则化，为时空预测提供了一个健壮的解决方案。

我们的代码可以在以下链接获取：https://github.com/Long-th99/MTformer

**引言**
时空动态系统是自然科学和工程学中的核心研究课题，在流体动力学[1]、气候模拟[2]和城市交通流量预测[3]等关键任务中有着广泛的应用。这些系统的基本特征是强非线性和高维的时空耦合，其演化通常由复杂的偏微分方程（PDEs）[4]控制。在处理大规模和多尺度数据时，传统的物理驱动建模方法（例如经典数值求解器）尽管能够忠实反映潜在的物理规律，但受到内在的计算成本和可扩展性瓶颈的制约。随着计算能力和数据可用性的快速增长，数据驱动的深度学习范式已成为高效时空建模的有希望的替代方案，为传统求解器遇到效率限制的系统提供了灵活的近似方法。

建模复杂的时空动态系统仍然充满挑战。首先，基于注意力的Transformer在捕捉长距离依赖性方面表现出色，但它们缺乏明确的局部归纳偏见（如邻域平滑性），这往往导致数值不稳定。为了解决这个问题，混合设计（例如CvT[5]）通过卷积重新引入了局部性，但它们主要还是数据驱动的，未能考虑潜在的动态约束。其次，我们认为架构的局部性和与物理相关的正则化本质上是相互关联的。局部偏见的不足使得注意力机制无意中放大了高频噪声，导致模型过度拟合统计波动而非捕捉潜在的动态规律。这表现为非物理的高频振荡，破坏了预测演化的可靠性。尽管最近的研究分别解决了全局依赖性建模（例如Transformer）或物理先验的结合（例如PINNs）问题，但一个在单一架构中系统地整合全局注意力、局部感知表示和弱物理启发约束的统一框架仍然相对稀缺。

最近在地球系统建模和即时预测方面的时空Transformer进展进一步说明了这一研究方向。EarthFormer[6]引入了分层时空注意力分解，以提高Transformer架构在大规模地球物理场中的可扩展性。RainFormer[7]提出了一个适合基于雷达的降水即时预测的平衡注意力-卷积框架，强调多尺度特征提取和局部结构保留。PredFormer[8]表明，交织的时空Transformer分支可以作为复杂动态序列的强大通用预测器。这些模型通过注意力机制捕获长距离的时空依赖性，但它们主要还是数据驱动的，主要依靠注意力和/或卷积进行空间交互。我们认为，尽管这些模型实现了复杂的架构设计，但它们仍然缺乏规范潜在特征演化路径的明确机制。受到经典物理学中的耗散和扩散过程的启发，我们观察到拉普拉斯算子?2提供了一个自然的平滑先验。通过在时间维度中引入这个算子，可以促进特征演化的时间连续性，并抑制注意力机制可能无意中放大的数值不稳定性。这一观察激发了MTformer的设计，旨在将Transformer的全局建模能力与算子驱动的约束结合起来，以实现更稳定和物理上 plausible 的时空预测。

在这些工作的基础上，我们开发了MTformer时空混合架构。MTformer采用了PredFormer中的交错Transformer范式，并引入了两个关键扩展：首先，它明确地结合了傅里叶神经算子（FNO），通过频域交互实现全局感受野；通过执行频谱卷积并截断高频成分，该模块作为结构正则化器，捕获主导的时空特征，同时有效过滤掉高频噪声。其次，它集成了固定权重的时间差分块（TD-Block），该模块近似时间导数，对潜在动态施加受拉普拉斯启发的平滑先验。该模块通过规范时间曲率，起到弱物理约束的作用，从而有效抑制高频振荡，并减轻在纯数据驱动预测器中常见的长期轨迹漂移。通过将注意力、频谱算子学习和受物理启发的时间正则化紧密结合在统一架构中，MTformer扩展了现有的时空Transformer框架，使得对复杂非线性动态系统的建模更加稳定和物理上合理。我们通过多个基准数据集全面验证了MTformer框架的有效性，包括北京出租车轨迹数据集（TaxiBJ）和Navier–Stokes流体动力学数据集。实验结果表明，MTformer在Navier–StokesT20任务上将MSE相对降低了65.62%，证实了结合物理扩散先验显著提高了预测准确性和数值稳定性。

为了填补平衡全局依赖性建模与物理稳定性的研究空白，我们提出了MTformer作为一个统一架构，它明确地将数据驱动的注意力与基于算子的物理正则化联系起来。这项工作的主要贡献总结如下：
- **新颖的混合架构，融合注意力和频谱分析**：我们提出了一个协同框架，将门控Transformer与傅里叶神经算子（FNO）相结合。该设计通过频域交互实现全局感受野，有效捕获多尺度频谱模式和长距离时空依赖性。
- **通过TD-Block实现受拉普拉斯启发的时间正则化**：我们引入了TD-Block，明确实现了离散的一维拉普拉斯算子。通过模仿扩散机制，该模块对潜在动态施加平滑先验，通过固定权重的物理约束抑制高频噪声并增强长期稳定性。

**实验结果**
在从城市交通流量到复杂流体动力学的各种时空数据集上的广泛评估表明，MTformer显著优于现有技术。特别是在高维非线性系统中，其性能大幅提升，证明了其在维持长期预测稳定性和捕捉非平稳演化模式方面的卓越稳健性。

**本文的结构**
第2节回顾了相关研究进展；第3节定义了问题并阐述了物理归纳偏见；第4节详细介绍了MTformer模型的设计细节；第5节展示了在多个数据集上的综合实验结果和分析；第6节总结了研究结果并探讨了未来的研究方向。

**相关工作**
本节回顾了与时空预测相关的关键技术进展，涵盖了深度预测建模框架、基于Transformer的时空预测学习以及物理指导的建模。在深入具体方法之前，需要区分两个密切相关的设置：视频预测主要关注生成离散的像素级视觉外观和短期运动动态，而时空预测通常关注更广泛的时空现象。

**流体动力学的背景**
复杂动态系统（如流体流动）的演化严格受偏微分方程（PDEs）的控制。地球科学与工业模拟中的一个基本范式是不可压缩的Navier–Stokes（N-S）方程，它描述了时空场中动量和质量的保护：
?u/?t + (u??)u = ?1ρ?p + ν?2u + f
其中u(x,t)表示空间坐标x∈Ω和时间t处的速度场。ν?2u项被称为扩散项，利用了拉普拉斯算子。

**方法论**
本节建立了我们方法的形式数学基础，并详细介绍了所提出的MTformer的架构实现。首先概述了主要的概率框架，然后全面阐述了模型的组成模块，包括补丁嵌入、编码器、TD-Block和FNO模块。最后，我们对误差优化机制和框架的稳定性保证进行了理论分析。

**实验**
本节首先建立了实验框架，包括数据集描述、基线方法和评估指标。随后，通过定量性能比较，验证了MTformer模型相对于所有基线模型的预测优势。针对短期预测、长期预测和极端事件等特定场景进行了案例研究。最后，我们进行了消融研究，系统地剖析了各部分的贡献。

**结论与未来工作**
在本文中，我们介绍了MTformer，一种用于精确建模和长期预测复杂动态系统（包括流体动力学、气象学和城市交通流量）的新型混合时空架构。MTformer的核心优势在于它将长距离依赖性捕捉、高效的频域建模和物理信息正则化有机地结合起来。通过将Transformer核心与FNO和TD-Block有机结合，MTformer实现了这些功能。

**作者贡献声明**
郝天：撰写——原始草稿，项目管理，形式分析，数据管理，概念化。
向昭：可视化，验证，方法论。
赵宇阳：方法论，调查，数据管理。
谢传流：撰写——审阅与编辑，监督，项目管理，方法论。
王永梅：撰写——审阅与编辑，监督，资金获取。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能会影响本文报道的工作。