PiFormer：利用空间拼接逆变换器实现次季节性海表温度（SST）预测

《Expert Systems with Applications》：PiFormer: Towards Subseasonal SST Prediction with Spatial-Patched Inverted Transformer

海表温度（SST）预测需同时捕捉时空关联。现有Transformer模型虽能处理长序列，但空间依赖建模不足，尤其难以区分局地与远距离关联。本文提出PiFormer，通过海区分块（Sea Area Patching）将海域划分为独立子区域，并采用Intra-Area Attention机制学习局地空间关联；同时引入逆嵌入（Invert Embedding）优化Transformer架构，增强对多尺度空间关联的建模能力。实验表明，PiFormer在六个海洋区域数据集上显著优于基线模型，MSE降低25.57%，MAE降低7.64%，且计算效率更高。

　　

Mingrui Zhang | Hanchen Yang | Wengen Li | Xudong Jiang | Jihong Guan | Yichao Zhang | Shuigeng Zhou

同济大学计算机科学与技术学院，上海，中国

摘要

海表温度（SST）对气候调节、生态系统稳定性和海洋经济活动至关重要，因此准确预测其变化非常重要。SST的变化本质上是一个时空耦合的过程，不仅受到时间连续性的驱动，还受到空间异质性的影响。近年来，基于Transformer的模型已成为SST预测的主要方法，因为它们在捕捉复杂的时间依赖性方面表现出强大的能力。然而，这些方法往往难以捕捉到由多尺度空间相关性引起的多变量依赖性。我们的分析表明，局部区域通常表现出强烈的次季节性相关性，而远距离区域则主要受全球性、长期因果趋势的影响。在相同的时间尺度上统一建模这种异质的空间相关性会忽略复杂的空间动态，从而限制了预测的准确性。为了解决这个问题，我们提出了PiFormer，这是一种专门设计用于增强空间依赖性学习的基于Transformer的SST预测器。PiFormer重新构建了Transformer，使其能够沿空间维度进行操作，从而深入探索空间相关性。它引入了海域分割策略，将大的海洋区域划分为小的区块，并使用区域内注意力机制来捕捉局部海域之间的细粒度时空交互。最后，一个专门的预测层将这些局部特征与全局模式结合起来，以全面捕捉依赖性。在六个真实世界的SST数据集上进行的实验表明，与最先进的基线方法相比，PiFormer将均方误差（MSE）降低了25.57%，平均绝对误差（MAE）降低了7.64%，显著提高了预测准确性。此外，PiFormer的计算效率也明显高于最强的基线方法PathFormer。我们的代码可在以下链接公开获取：https://github.com/ADMIS-TONGJI/PiFormer

引言

海表温度（SST）通常指的是海面下1毫米到20米深的水温（Shi, Santer, Kwon, & Wijffels (2024)）。由于海洋覆盖了地球表面的大约71%，SST的变化对全球气候和生物系统有重大影响。这种关键影响使得准确的SST预测成为现代气象服务和海洋环境监测的重要需求（Ma et al. (2024); Yang et al. (2024)）。 SST预测本质上是一个时空耦合过程（Yang et al. (2025a); Zhang et al. (2024)）。准确的SST预测需要捕捉时间和空间依赖性。近年来，随着深度学习的进步，SST预测取得了快速发展。目前，Transformer由于其卓越的性能逐渐成为SST预测的主流方法（He et al. (2025a); Vaswani et al. (2023)）。然而，现有的Transformer模型主要关注捕捉SST数据中的时间依赖性，对提取空间依赖性的关注和能力不足。 首先，先前的研究表明，海洋中的远距离空间相关性通常反映了年度到十年尺度的长期温度趋势（Ballari, Campozano, Samaniego, & Orellana (2020）。在这种情况下，局部空间依赖性对于次季节性预测具有更大的价值。如图1所示，我们分别从印度洋和南海随机选择了两个位置，并计算了它们与其他位置的SST皮尔逊相关性。可以明显观察到，靠近选定位置的海域颜色更深，而较远的海域颜色较浅，这表明局部空间依赖性明显强于远距离相关性。不幸的是，现有的Transformer模型缺乏区分局部和远距离空间依赖性的特定学习机制。 其次，SST预测通常将研究区域划分为网格，并涉及大量的SST变量。然而，传统的Transformer由于其结构上的局限性，不适合进行这种多变量时间序列预测（Liu et al. (2024)），即SST数据中不同空间位置的因果关系和依赖模式。此外，Transformer模型在架构上复杂且内存消耗大。它们的编码器-解码器结构限制了分析长序列的能力，制约了具有大量历史数据的SST预测任务（Zhou et al. (2021)）。仅仅优化Transformer的组件无法有效平衡多变量数据处理和扩展历史序列处理的需求。因此，对Transformer模型进行架构优化对于同时提高预测准确性和计算效率至关重要。 如图2所示，现有的SST预测Transformer模型可以根据空间依赖性学习的增强和架构修改分为四种类型：前者通常涉及添加或优化Transformer组件，而后者则涉及修改或重构Transformer的架构：

• (I)
  没有增强空间依赖性学习或架构修改的Transformer。这些模型保留了原始的Transformer架构，没有进行架构修改或增强空间依赖性学习。例如，Dai等人提出了TransDtSt（Dai et al. (2024a），这是一种具有生成解码、时间嵌入和注意力蒸馏的增强型Transformer，用于长期日SST预测。然而，这些模型未能解决Transformer在解释SST数据的空间因果关系方面的架构限制，也缺乏专门的空间依赖性建模。
• (II)
  具有架构修改的Transformer。这些模型优化了Transformer架构，但没有增强空间依赖性学习。代表性例子包括TL-iTransformer（Jia, Guan, & Xue (2024a），它结合了迁移学习和iTransformer，通过知识转移在数据稀缺区域实现准确预测。然而，它们在学习SST数据的空间依赖性方面存在不足。
• (III)
  具有增强空间依赖性学习的Transformer。这些模型在保留原始Transformer框架的同时增强了空间依赖性学习。代表性研究包括CoTCN（Zhang et al. (2025)和MSPT（He et al. (2025a）。CoTCN结合了Swin Transformer进行全局模式提取和CNN进行局部特征学习，以实现多尺度SST预测。MSPT结合了多尺度周期分析和多变量注意力机制进行次季节性SST预测，每个识别出的时间尺度都通过专用的Transformer分支进行处理，然后进行自适应融合。然而，这些模型依赖于外部模块进行空间依赖性学习，而不是从架构上改进Transformer的空间建模能力。
• (IV)
  具有增强空间依赖性学习和架构修改的Transformer。这类模型旨在优化Transformer的架构，以解决其在长期序列分析中的固有局限性，同时增强空间依赖性学习。然而，据我们所知，目前还没有针对SST预测的此类方法。

为了解决现有Transformer模型的局限性，我们提出了PiFormer，这是一种用于次季节性SST预测的空间分割逆Transformer，它增强了空间依赖性学习，并能够自适应地学习和融合局部空间依赖性和远距离空间依赖性。具体来说，我们引入了逆嵌入来为后续操作建立架构基础，以捕捉空间依赖性，并提高了对长历史序列的容忍度。其次，我们引入了海域分割策略，将研究区域划分为小的、独立处理的区块，以更好地捕捉局部空间依赖性。最后，我们在每个分割区域内使用区域内注意力机制来捕捉时空依赖性，从而提高预测准确性。

总之，本研究的主要贡献如下：

1. 我们提出了PiFormer，解决了Transformer模型在捕捉SST数据中的复杂空间依赖性方面的架构限制，特别是在学习和融合局部空间依赖性与远距离空间依赖性方面，从而显著提高了预测准确性。
2. 我们引入了海域分割策略，以实现精细的海域区域划分，并设计了区域内注意力机制，以捕捉每个区块内的变量相关性，即局部空间依赖性。
3. 我们引入了逆嵌入，从架构上增强了多变量关系的建模，从而加强了SST数据中的空间依赖性学习。这种架构改进还提高了计算效率，相比PathFormer更具优势，并提高了模型处理长历史序列的能力。
4. 我们在六个不同的海洋区域的OISST数据集上进行了广泛的实验。结果令人信服地证明了PiFormer相比现有方法具有更好的预测性能和通用性。

相关工作

现有的SST预测方法大致可以分为两类：基于动态和热力学方程的数值模拟方法（Barnett et al. (1993); Repelli & Nobre (2004); Stockdale, Balmaseda, & Vidard (2006），以及直接从历史SST数据中学习规律性以预测未来状态的数据驱动方法（Ali, Swain, & Weller (2004); Choi, Kim, & Yang (2023); He et al. (2025a); Patil, Deo, & Ravichandran (2016）。

问题定义

对于一个目标海洋区域，我们根据固定时间窗口内的历史SST观测数据，预测未来的SST值。预测是在离散为1°×1°空间网格单元的SST数据上进行的。形式上，历史多变量SST时间序列表示为，其中T表示历史观测的时间长度，N是目标海洋区域内对应于网格单元的空间变量数量。

方法概述

图3展示了PiFormer的整体架构，它由四个主要组件组成：逆嵌入、海域分割、区域内注意力和预测层。为了解决现有Transformer模型在预测具有大量变量的时间序列时的架构限制，我们首先引入了逆嵌入模块。该模块应用了一个转置层来反转输入SST数据的时间和空间维度，从而便于后续操作。

研究区域和数据集

我们使用来自每日最优插值海表温度（OISST）的SST数据进行了实验。作为美国国家海洋和大气管理局（NOAA）发布的全球SST再分析产品，OISST通过最优插值算法整合了多源卫星遥感和现场观测数据，从而生成了具有高时空分辨率的高精度温度场。该数据集提供了从

结论

在这项工作中，我们提出了PiFormer用于次季节性SST预测。PiFormer引入了海域分割，将研究区域划分为小的、独立处理的海域区块，以更好地区分局部空间依赖性和远距离空间依赖性。此外，PiFormer使用区域内注意力机制增强了SST数据中的时空依赖性学习。在六个研究区域进行的实验表明，PiFormer取得了出色的预测准确性。

Mingrui Zhang：概念化、方法论、软件、形式分析、撰写——原始草稿、可视化。Hanchen Yang：数据整理、验证、调查、撰写——审阅与编辑。Wengen Li：监督、资源、项目管理、资金获取、撰写——审阅与编辑。Xudong Jiang：撰写——审阅与编辑。Jihong Guan：资源、撰写——审阅与编辑。Yichao Zhang：资源、撰写——审阅与编辑。Shuigeng Zhou：资源、撰写——审阅与编辑。

利益冲突声明

作者声明以下可能的财务利益/个人关系可能被视为潜在的利益冲突： Wengen Li报告称获得了中国国家自然科学基金会的财务支持。如果还有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。