利用多任务图神经网络进行多变量时间序列表示学习

《Engineering Applications of Artificial Intelligence》：Multivariate time series representation learning with multi-task graph neural network

多变量时间序列（MTS）表示学习需兼顾各通道的时空依赖关系。现有方法多基于单任务框架，采用传统机器学习或深度学习模型（如CNN、RNN），但忽略空间关联性，且全局图学习难以捕捉局部时序差异。本文提出MTGL框架，通过三任务学习（数据重建、全局图学习、局部图学习）融合全局与局部时空特征，利用动态图机制自适应不同时间窗口的关系，支持多种下游任务。实验表明MTGL在基准数据集和隧道掘进机数据集上优于现有方法。

　　

高志辉|徐宝敏|袁继东|王金峰|徐莉

中国教育部北京交通大学大数据与人工智能在交通领域重点实验室

摘要

多变量时间序列（MTS）的表示学习在数据挖掘中是一个重要的挑战。目前基于深度学习的MTS表示方法大多使用神经网络来模拟单个单变量序列中的时间依赖性，但未能充分考虑MTS数据中不同通道之间的空间关系。虽然有一些方法利用图神经网络（GNN）来模拟空间依赖性，但它们往往无法同时有效捕捉全局和局部特征，这可能限制了MTS数据表示的质量。为了克服这些限制，我们提出了MTGL，这是一种基于多任务图神经网络的MTS表示学习框架。它结合了MTS重构、全局图学习和局部图学习，无需依赖预定义的图结构即可捕捉潜在的时空依赖性。为了获得全局图级表示，MTGL执行消息传递和图池化操作，并同时利用动态图机制来捕捉不同窗口之间的关联，以获得局部级表示。通过在统一框架中融合全局和局部特征，MTGL有效地支持了多种MTS任务。广泛的实验表明，该方法在基准MTS数据集和隧道掘进机数据集上的性能优于现有的最先进方法。

引言

多变量时间序列（MTS）是在各种现实生活场景中常见的数值数据的序列集合，例如睡眠信号（Kontras等人，2024年）、交通流量（Zheng等人，2024a年）、股票市场（Qiu等人，2025年）以及其他科学和社会领域（Han等人，2024年；Ekambaram等人，2024年）。MTS表示学习的目标是生成相应的嵌入（Liu等人，2025年）。随后，这种嵌入可以用于各种下游任务，主要包括分类、预测和异常检测。实现高效的MTS表示学习非常重要但具有挑战性。首先，由于MTS具有多样化的时间顺序相关性和高维度（Chen等人，2023年），因此对其进行特征描述更为复杂。其次，MTS包含难以提取和利用的丰富潜在信息（Nguyen和Quanz，2021年）。

已经提出了许多MTS表示方法（Li和Jung，2023年）。以前的方法主要基于传统的机器学习和深度学习（DL）技术（Chakraborty等人，2024年）。传统方法主要关注距离相似性或特征提取，例如动态时间规整（DTW）（Bringmann等人，2024年）和随机森林（Iliopoulos等人，2025年），这些方法在许多基准MTS数据集中已被证明是有效的。DL模型主要围绕多层感知器、卷积神经网络（CNNs）（Tang等人，2022年）和循环神经网络（RNNs）（Chen等人，2020年）等架构展开。然而，这些方法常常忽略了时间序列不同通道之间的空间依赖性。

为了在保持时间序列变量的时间模式的同时模拟它们之间的空间依赖性，已经开发了几种方法。基于图神经网络（GNN）的MTS表示方法通常将完整的MTS转换为全局拓扑图（Wen等人，2025年），然后用于下游任务（Han等人，2025年；Wang等人，2024c年），如图1(1)所示。尽管这些方法可以获得反映MTS整体趋势的全局图表示，但学习到的特征往往侧重于长期和稳定的模式，难以捕捉重要的细粒度时间差异，如短期波动、阶段变化或局部异常。这一限制削弱了模型理解复杂时间模式的能力，并可能导致对细节变化敏感的下游任务性能下降。为了解决这一限制，最近的研究提出了全局-局部方法，这些方法同时利用全局和局部表示（Lin等人，2021年；Huang等人，2024年；Wang等人，2025年）。例如，在隧道掘进机（TBM）场景中，如图1(2)所示，全局表示可以描述整体挖掘趋势，而局部表示更适合捕捉不同挖掘阶段中传感器读数的短期变化，如力、扭矩、速度和压力。尽管这些方法提高了表示的完整性，但它们的设计通常是为单一特定任务量身定制的，如图1(3)所示，这使得同时支持多种任务要求变得困难，从而限制了泛化能力。

与单任务学习相比，多任务学习表现出更好的收敛性能，并且更有效地学习到更好的表示。因此，我们提出了一个基于多任务图神经网络的MTS表示学习（MTGL）框架。它包含三个学习任务：一个保留时间序列整体时间连续性的重构任务（任务1）；一个模拟长期时空依赖性的全局图学习任务（任务2）；以及一个捕捉短期和阶段相关变化的局部图学习任务（任务3）。这三个任务共享相同的图生成模块，任务2和任务3共享相同的全局图。由于这三个任务关注不同类型的信息并相互补充，在多任务学习框架下一起训练它们，使模型能够学习到更丰富和更全面的特征表示，从而提高在不同下游场景中的表示能力和鲁棒性。本文的主要贡献总结如下：

• (1)
  我们开发了一个新颖的端到端多任务MTS表示框架，使得学习到的表示可以同时用于预测和分类任务，并显示出强大的泛化能力。
• (2)
  通过合并全局级和局部级图表示，我们的方法能够同时捕捉数据中的全局和局部特征。
• (3)
  在基准MTS数据集和TBM数据集上进行了广泛的实验。实验结果证明了该模型的有效性。

相关工作

相关工作

本节主要回顾了目前用于MTS表示的主要基于深度学习（DL）的方法，包括基于CNNs和RNNs的传统DL方法，以及基于GNNs的MTS表示方法。

初步

在本节中，我们主要介绍了模型中使用的关键机制。为了便于参考，所有与节点嵌入（Z系列，表A.9）、邻接矩阵（A系列，表A.10）以及图生成和池化中使用的变量（表A.11）相关的符号都在附录中统一定义和总结。

方法

本节详细介绍了所提出的MTGL模型，该模型采用了如图2所示的多任务架构。它包括三个不同的任务。第一个任务使用AutoEncoder模块来捕获拓扑结构并重构输入的MTS数据。随后，第二个任务专注于处理从第一个任务中处理得到的图数据。这涉及利用MPNN和图池化机制来生成特征表示。第三个任务

实验

在本节中，我们展示了将提出的模型与现有基线进行比较的全面实验结果。我们还进行了消融研究以验证每个模块的贡献。此外，类原型和时间序列嵌入的可视化突显了模型的强大表示能力。代码已发布在：https://github.com/ZhihuiG/MTGL。

结论

在本文中，我们提出了一种新颖的MTS表示模型，该模型利用多任务学习来捕捉全局和局部级别的图表示。集成AutoEncoder架构增强了模型的鲁棒性，其中局部图组件专注于MTS数据的局部特征。我们的模型在公共数据集以及TBM数据集上都表现出了优越的性能。未来的工作将探索在半监督或无监督环境下更强大的GNNs

CRediT作者贡献声明

高志辉：撰写 – 审稿与编辑、可视化、验证、软件、方法论、数据管理、概念化。徐宝敏：监督、资源管理、项目管理、形式分析。袁继东：撰写 – 审稿与编辑、监督、项目管理、方法论、调查、资金获取、形式分析、数据管理、概念化。王金峰：撰写 – 原始草稿、可视化、验证、软件、方法论、调查、形式分析，

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本工作得到了中央高校基本科研业务费（编号：2025JBMC028）的支持。