MRDNet：用于多变量时间序列预测的多变量关系分解网络

《Knowledge-Based Systems》：MRDNet: Multivariable Relational Decomposition Network for Multivariate Time Series Forecasting

针对多变量时间序列预测中异常值干扰问题，提出MRDNet模型，通过全局共享周期模式与局部自适应趋势分析分离变量关系并抑制噪声，实验验证其预测性能优于基准方法。

　　

张明毅|胡敖|文良建|王军|戴勇|王东凯|段江

四川大学计算机科学学院，中国成都

摘要

准确建模变量之间的相关性（也称为通道）对于实现精确可靠的多元时间序列预测至关重要。然而，由于异常值、缺失值和噪声等问题的存在，多元时间序列分析仍面临诸多挑战，这些问题会掩盖变量之间的真实关系并降低预测准确性。为了解决这一问题，我们提出了一种多元关系分解网络（MRDNet），该网络将变量关系分为全局部分和局部部分。全局部分利用可学习的潜在向量捕捉变量之间的共同季节性模式，从而建立稳定的长期相关性。局部部分通过分析平滑时间序列数据中的趋势来关注特定窗口内的关系。此外，我们还设计了一个自适应神经网络来细化这些关系并减轻异常值的影响。通过整合这些部分，MRDNet能够有效处理异常值，同时捕捉到稳定的全局依赖性和动态的局部模式。在基准数据集上的广泛实验表明，MRDNet在预测性能上表现出色，成功应对了多元时间序列中的异常问题。

引言

时间序列预测在多个领域得到广泛应用，包括交通[1]、金融市场[3]、气象预测[5]等。深度学习技术的最新进展[7][8][9]显著提高了预测准确性。特别是基于Transformer的架构[10][11][12][13]在捕捉长期时间关系和管理复杂的跨时间交互方面表现出色。

近期研究越来越多地关注建模变量之间的依赖性，以提高时间序列预测的精度。之前的研究（如STGCN[14]、MTGNN[15]和CrossGNN[16]）使用了图神经网络（GNN）来明确表示变量间的关系。此外，Informer[10]、Autoformer[11]和FEDformer[12]等模型采用了一种隐式方法，将多元时间序列数据编码为时间令牌。然而，这种方法可能会因时间令牌对齐不当而引入噪声，从而影响对变量间交互的准确捕捉。为了解决这一问题，Crossformer[17]采用了双阶段注意力机制，同时考虑变量和时间段，从而改进了多元相关性的建模。更近期地，iTransformer[18]将每个时间序列视为一个独立的令牌，并应用自注意力直接建模变量间的依赖性，在高维数据集上展示了更好的性能。

尽管取得了最新进展，但在多元时间序列中识别有意义的关系仍然存在很大困难。多元时间序列数据通常包含异常值、缺失值和噪声（如图1所示）。这些异常值会掩盖变量之间的关系。例如，一个极端的异常值可能会抬高某个变量的关注度分数，导致模型过分强调虚假的连接而非真实的依赖性。这种干扰最终会降低预测准确性，对有效的时间序列建模构成重大挑战。

为了解决这个问题，我们提出了一种基于分解的方法，将多元关系分为全局部分和局部部分，直接消除异常值的负面影响，同时捕捉变量间的稳定和动态模式。全局部分捕捉所有变量共有的季节性模式（如图2所示：顶部为原始序列；中间为平滑后的趋势；底部为季节性变化）。这些季节性模式在整个时间序列中表现出周期性的波动，从而强调了变量间持久稳定的关系。通过相似地表示影响所有变量的共同季节性效应，全局部分产生了长期稳定的相关性。为了考虑变量间的特定偏差并减轻异常值的影响，我们为每个变量分配了一个可学习的潜在向量。这些向量的可学习特性使得模型能够自适应地捕捉到共享的季节性关系和个体变量间关系的最佳表示。

相比之下，局部部分捕捉特定输入窗口内所有变量之间的趋势关系。我们通过分析时间序列数据中的趋势来计算这些特定窗口内的变量关系（如图2中间面板所示）。为了进一步减轻异常值（如突然的峰值或缺失数据点）的影响，我们实现了一个神经网络架构，该架构能够自适应地细化特定窗口内的变量关系。这个网络作为初始计算出的变量关系的过滤器，从而产生更稳健的时间动态表示。

通过整合这些策略，我们提出了一种多元关系分解网络（MRDNet）方法，该方法将关系分解为全局部分和局部部分，并通过季节性和趋势划分进一步细化它们。这种方法有效应对了由异常值、缺失值和噪声引起的挑战，同时捕捉到了多元时间序列数据中固有的稳定长期依赖性和动态短期波动，从而提高了预测的准确性和稳健性。我们的贡献包括：

• 我们识别并解决了多元时间序列数据中的异常值、缺失值和噪声所带来的挑战，这些问题会掩盖真实的变量依赖性并降低预测准确性。
• 我们创建了一个结合全局和局部元素的双路径学习系统。全局路径使用可学习向量来建模季节性模式和变量相关性，而局部路径则使用自适应网络进行精细的趋势分析，从而在处理数据问题的同时捕捉到稳定和动态的模式。
• 我们将这些策略整合到一个统一的MRDNet架构中，该架构能够建模全局和局部关系结构。在基准多元时间序列数据集上的广泛实验表明，MRDNet在预测性能上表现出色。

相关工作

深度学习模型，包括基于Transformer的[10][11][12][13][17][18]、基于MLP的[8][19][20][21]、基于图神经网络（GNN）的模型[9][22][23][24]，在时间序列预测中显示出显著的效果。这些模型通过捕捉时间和多元依赖性来提高预测准确性。在本节中，我们将它们分为两大类：跨时间交互模型（进一步细分为……）

一般结构

本研究致力于多元时间序列预测问题。设$X\in R^{N\times L}表示历史观测值，其中$N表示变量数量，L表示历史序列的长度。我们的目标是预测未来的T时间步长，表示为。所提出方法的架构如图3所示。该方法采用仅编码器的架构，整合了关键组件，包括分解模块和季节性建模模块

实验设置

数据集。为了严格评估所提出的MRDNet的有效性，我们在12个不同的真实世界多元时间序列数据集上进行了广泛的实验。这些数据集包括：ECL[11]、Traffic[11]、Weather[11]、Solar-Energy[35]、四个PEMS数据集（PEMS03、PEMS04、PEMS07、PEMS08）[9]以及四个ETT数据集（ETTh1、ETTh2、ETTm1、ETTm2）[10]。这些数据集常用于时间序列预测任务，我们按照所描述的方法对它们进行了处理

结论

多元关系分解网络（MRDNet）有效解决了在存在异常值（如异常值、缺失值和噪声）的情况下对多元时间序列数据建模的挑战。通过将变量关系分解为全局部分和局部部分，MRDNet捕捉到了稳定的长期季节性模式和动态的窗口特定趋势，同时通过自适应神经细化减轻了异常值的负面影响。

CRediT作者贡献声明

张明毅：软件、项目管理。 胡敖：撰写——初稿、软件、资源准备。 文良建：监督、项目管理。 王军：验证、监督、概念化。 戴勇：验证、监督、概念化。 王东凯：形式分析、数据整理。 段江：撰写——审稿与编辑、项目管理。

利益冲突声明

作者声明与本研究无任何利益冲突。我们声明与本研究无关的任何商业或关联利益。

致谢

本研究得到了四川省科学技术厅重大科技专项（项目编号2024ZDZX0002）、四川省创新团队项目（项目编号2024NSFTD0054）、中央高校基本科研业务费（JBK202511081）、中国区块链研究中心、国家自然科学基金（项目编号62502397）和国家自然科学基金（项目编号72471197）的支持。