《Neural Networks》：MARINE-Transformer: A General-purpose Framework for Multivariate Ocean Time Series Analysis
编辑推荐：
针对海洋IoT设备多变量时间序列分析中存在的异构数据融合难题，本文提出MARINE-Transformer框架。该框架采用两阶段训练：预训练阶段通过掩码自编码器学习单变量时间动态；微调阶段引入动态依赖图，整合跨变量物理关系。实验表明，该框架在预报、插补和异常检测任务中均达到SOTA性能。
王浩|李翔|傅曦|杨美红|赵志刚|吴晓明|王英龙|普拉亚格·蒂瓦里
教育部计算能力网络与信息安全重点实验室，山东计算机科学中心（济南国家超级计算中心），齐鲁工业大学（山东科学院），中国济南
摘要
尽管自监督预训练在文本和图像处理中取得了成功，但其应用于来自海洋物联网设备的多变量时间序列的数据仍落后于针对关键任务（如预测、数据填补和异常检测）的定制方法。为了解决这一问题，我们提出了一个通用框架——MARINE-Transformer。该框架通过对大规模未标记数据进行任务无关的预训练来学习通用表示，然后通过参数高效的微调过程将这些表示适配到特定的下游任务中。我们识别出海洋数据中的两种根本不同的依赖性：一种是跨不同变量共享的通用时间动态，另一种是决定变量间相互作用的特定跨变量物理关系。我们提出的从单变量到多变量的新范式旨在解决这种二分法，在专门的阶段分别处理这两种依赖性。在单变量预训练阶段，掩码自编码器（MAE）通过刻意忽略变量间的依赖性来学习各个海洋变量的内在时间动态。随后，在多变量微调阶段，将下游任务表述为特定的掩码重建问题，并利用预训练的编码器构建一个显式模拟变量间复杂相互关系的依赖图。在多个真实世界的海洋数据集上的实验表明，我们的框架在预测、数据填补和异常检测方面达到了最先进的性能。
引言
近年来，深度学习在多变量时间序列（MTS）分析中的应用迅速发展，解决了诸如海洋状态预测、数据填补和异常检测等关键任务（Hao等人，2025年）。这一进展在很大程度上得益于海洋物联网（IoT）系统的普及，这些系统由大量的浮标和自主水下航行器（AUV）组成，持续生成大量的海洋数据流。大多数这些方法都是针对特定任务设计的，适用于每个问题的独特特征。例如，已经开发出基于趋势和季节性分解的模型来预测海表温度（SST），使用条件扩散模型来填补IoT环境中常见的传感器间歇性连接导致的数据空白，并利用关联差异来检测异常现象，如海洋热浪。尽管这些方法有效，但为不同的海洋应用选择合适的特定任务模型可能是一个耗时的过程。此外，即使在同一任务中，环境的变化（例如将预测范围从1步扩展到24步）通常也需要重新训练整个模型。
在未标记数据上进行自监督预训练已成为一种强大的范式。尽管在自然语言处理（NLP）和计算机视觉（CV）等领域取得了成功，但将其应用于MTS（主要通过对比或掩码重建方法）仍存在显著差距（Houlsby等人，2019年）。与NLP/CV中的多任务框架不同，大多数MTS预训练框架仅作为特定任务的加速器，提高单一任务（如预测）的性能。它们通常只作为参数初始化步骤，需要重大的架构更改才能解决其他问题（Ding等人，2023年）。
然而，一个重要问题仍然存在。大多数现有的预训练方法都是作为特定任务的加速器设计的，专注于提高单一任务（如预测）的性能。这种专门的关注导致了它们忽视了海洋物联网环境中的一个根本挑战：数据源的极端异质性。海洋数据在变量配置、规模和采样频率方面本质上表现出异质性。例如，不同站点的传感器阵列差异巨大，数据记录长度也相差数个数量级。第3.2节和图4提供了这些异质性特征的详细统计分析和可视化，突显了标准模型难以处理的碎片化现状。
如图1（左侧）所示，真实世界的海洋数据来自各种传感器平台（源域），每个平台测量不同数量和类型的变量。通过对Copernicus海洋数据集的统计分析发现，不同观测站的传感器配置差异巨大。数据集大小严重不平衡，主要站点积累了超过10万条记录，而偏远浮标可能提供的记录少于1万条，形成了不兼容的特征空间碎片化格局。按照设计，传统的多变量神经网络需要固定的输入维度，这使得训练一个能够融合来自不同变量集知识的单一模型几乎不可能。然而，为了实现强大的性能，模型必须同时学习所有可用观测变量中固有的丰富模式，并在推理时利用它们之间的物理相关性。这一困境迫切需要一个真正通用的框架来处理多种多样的海洋任务。
为了解决这一难题，我们提出了一个统一的框架——MARINE-Transformer（多变量异常检测重建填补多步预测可扩展Transformer）。这一命名反映了我们的模型处理海洋时间序列中复杂演变动态的能力。我们的框架通过两个不同的阶段来解决这种异质性，如图1（右侧）所示。它首先进行基础的单变量预训练阶段，巧妙地绕过了固定维度的限制。通过将来自庞大源域的每个变量视为独立的单通道时间序列，模型可以从任意数量的变量中吸收知识，从而创建一个强大的、与来源无关的表示。接下来是专门的多变量微调阶段，在这里，预训练的表示被高效地适配到给定目标站点的特定变量集，重新引入并利用它们独特的物理相互作用，提供最先进的预测、数据填补和异常检测解决方案。
我们的方法受到了来自海洋中分布式IoT传感器收集的数据中依赖性固有异质性的启发：时间依赖性，它捕捉单个变量随时间的演变（例如，叶绿素-a的季节性周期）；以及跨通道依赖性，它捕捉不同物理变量之间的关系（例如，温度和盐度对水密度的影响）。后者通常由潜在的物理动态决定，并且相对稳定。我们通过开发从单变量到多变量的范式来利用这一点。MARINE-Transformer在单变量预训练阶段首先关注时间依赖性，故意忽略跨通道的相互作用。然后在随后的多变量微调阶段将这些关键的变量间关系纳入考虑。
具体来说，MARINE-Transformer的预训练阶段从源MTS数据生成不同长度的单变量实例，利用掩码自编码器（MAE）框架内的单通道重建任务。需要注意的是，我们的单变量预训练策略是由于源数据集的不连续性而必需的。由于许多源站点监测的变量子集完全不同，几乎没有重叠，构建一个联合的多变量分布在结构上是不可行的。标准的多变量方法需要人工填充零值，这会引入非物理的伪影。因此，单变量范式是唯一能够从这种异构来源中聚合知识的方法。通过将预测、数据填补和异常检测表述为特定的掩码重建问题，预训练模型可以直接执行这些任务而无需修改。在微调过程中，我们冻结预训练的骨干网络，并引入一个由动态构建的稀疏依赖图引导的通道交互机制，以显式模拟变量之间的复杂关系。
我们的贡献有三个方面：
1.我们提出了一个通用的框架MARINE-Transformer，基于从单变量到多变量的范式。这种两阶段方法专门设计用于解决海洋IoT数据中固有的数据源异质性问题，其中单变量预训练首先学习与来源无关的时间动态，然后多变量微调将这些知识适配到目标站点的特定跨变量物理特性。
2.我们将三个经典任务——预测、数据填补和异常检测——统一在一个共同的掩码重建框架下。与需要为不同任务训练单独的下游回归器的表示学习框架（例如，TST（Zerveas等人，2021a）、TS2Vec（Yue等人，2022）、TNC（Bai，2018）不同，我们的生成范式允许通过简单地改变掩码策略来直接解决这些不同的挑战，显著简化了建模过程。
3.我们在一个真实的海洋数据集上进行了全面的实验。结果表明，微调后的MARINE-Transformer在预测和数据填补方面达到了最先进的性能，并在异常检测方面显示出极具竞争力的结果。
方法论
我们的MARINE-Transformer模型架构如图2所示。它专为多变量海洋时间序列设计。该模型采用两阶段训练策略。最初，在预训练阶段，它在单变量环境中捕获各个变量的内在时间动态，以生成初始解决方案。然后在完整的多变量数据上进行微调，使其能够学习变量间的复杂相互作用和物理相关性
实验设置
实施细节我们的模型使用PyTorch 2.0.1和Python 3.10实现。预训练阶段在NVIDIA A100 GPU上进行，而微调和推理在NVIDIA T4 GPU上进行。
超参数设置对于我们的MARINE-Transformer，我们使用了以下设置。在预训练阶段，批量大小为128，学习率为1e-4，丢弃率为0.0，补丁长度为12，掩码比为0.5。在微调阶段，我们使用了
复杂数据分析的进展
我们认识到，对复杂、异构数据的建模是整个数据挖掘社区面临的共同挑战。最近在多视图对比聚类（Hu等人，2025年）和高阶拓扑学习（Hu等人，2024a）方面的进展有效地从不连续的特征空间中合成信息——类似于处理多样化的海洋传感器。同样，生理信号的多粒度表示方法（Li等人，2024年）和生物信息学中的多模态聚合方法也取得了进展
结论
我们介绍了MARINE-Transformer，这是一个从根本上重新思考多变量时间序列分析预训练范式的新型框架。通过策略性地分离时间动态的学习和跨通道相互作用的学习，我们的从单变量到多变量的方法为多样化的下游任务提供了坚实的基础。通过任务无关的预训练阶段，我们的模型捕获了通用时间模式，然后通过微调阶段进行专家级适配
CRediT作者贡献声明
王浩：撰写——原始草稿、可视化、软件、方法论、调查、形式分析、数据整理、概念化。李翔：撰写——审阅与编辑、验证、监督、项目管理、资金获取。傅曦：撰写——审阅与编辑、可视化、验证、数据整理、概念化。杨美红：监督、资源管理、项目管理、资金获取。赵志刚：撰写——审阅与编辑、验证、监督
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了中国国家自然科学基金（U24A20232）、齐鲁工业大学（山东科学院）的科教产融合重大创新项目（2025ZDYS01、2024GH24、2023JBZ02）、济南“20新学院和大学”资助项目（202333043）以及泰山学者计划（NO.tspd20240814）的支持。
