PatchFusionMLP：一种可扩展的多分辨率MLP框架，用于时间序列预测

《Pattern Recognition》：PatchFusionMLP: A Scalable Multi-Resolution MLP Framework for Time Series Prediction

长期序列预测中提出多分辨率框架PatchFusionMLP，通过同步时频域特征提取、并行多粒度时序建模和MLP跨变量融合机制，有效解决特征错位和单尺度不足问题，在十大数据集上较SOTA模型提升9.70%-41.43%。

　　

Xinyu Bi|Chen Chen|Cheng Chen|Xiaoyi Lv|Junyu Zhu|Hongbing Ma|Enguang Zuo

新疆大学计算机科学与技术学院，乌鲁木齐，830046，中国新疆

摘要

捕捉多尺度模式和跨变量依赖性对于长期序列预测（LTSF）至关重要。然而，现有方法经常由于时间-频率处理的碎片化而导致特征不对齐，而单尺度修补方法无法充分适应多粒度时间动态和复杂的多变量相关性。为了解决这些挑战，我们提出了PatchFusionMLP，这是一个新颖的可扩展多分辨率框架。具体来说，我们首先使用多分辨率处理模块（MRP Block）在时间-频率域中协同提取互补特征，有效缓解了特征不对齐问题。随后，引入了多尺度时间序列嵌入模块（MTSEM）来同时处理不同长度的片段，从而在保持高分辨率的同时捕获多粒度时间特征。此外，我们设计了一个基于MLP的多阶段特征融合模块，以明确建模变量间和变量内的依赖性，促进异构特征的自适应集成和细化。在十个广泛使用的基准数据集上的大量实验表明，PatchFusionMLP的性能显著提升——相对于TimeKAN等最先进的方法，性能提高了9.70%到41.43%。这些结果验证了该框架在揭示多变量时间序列中的深层潜在模式方面的卓越能力。代码和详细信息可在以下链接获取：https://github.com/fromnew/PatchFusionMLP。

引言

背景：时间序列预测利用历史观测数据来预测未来趋势[1]，[2]，[3]，[4]，在气象预警[5]、金融风险管理[6]，[7]、能源分配[8]，[9]、交通规划[10]，[11]和疾病早期预测[12]，[13]等关键领域发挥着重要作用。然而，现实世界系统的固有复杂性往往导致观测序列具有纠缠的非平稳模式，给精确捕捉时间动态带来了巨大挑战。为了解决这些困难，人们从多个维度进行了广泛的研究[14]，[15]。从特征分解的角度来看，DLinear[17]等方法在分离宏观趋势和季节性模式方面表现出色，而频域方法（例如FourierGNN[18]）则专注于提取周期成分和过滤噪声。在数据表示方面，PatchTST[19]，[20]——一种领先的长期预测范式——有效地利用线性投影层从局部片段中提取语义特征。在架构上，现代MLP在多变量预测精度方面逐渐超越了传统的Transformer，这得益于它们更高的计算效率和结构简化。

挑战：尽管最近取得了进展，LTSF任务仍受到三个基本挑战的制约[21]。首先，时间下采样和频域变换的解耦执行阻碍了特征提取过程中的有效同步。这种分离不可避免地导致特征在融合过程中的不对齐以及关键瞬态局部变化的丢失[22]，[23]。其次，单尺度修补策略无法同时捕捉短期细粒度波动和长期粗粒度趋势（如图1所示）。因此，模型在识别宏观级周期性和保持微观级粒度之间存在固有的权衡。最后，现有的基于MLP的方法主要关注单个序列内的时间建模（通道独立性），从而忽略了变量间的潜在关联和协同效应。这一限制导致忽略了多变量预测所需的关键跨变量交互信息[24]。

解决方案：为了解决这些挑战，本文提出了PatchFusionMLP框架，旨在通过捕捉时间序列中的多分辨率、多尺度和变量间依赖性来提高LTSF任务的模型性能。具体来说，我们设计了一个MRP Block来同步提取时间和频率域中的多级分辨率特征。随后，引入了MTSEM机制，通过并行处理不同长度的片段段来明确捕捉从局部细节到全局趋势的多粒度时间模式（如图2中的实验结果所示）。最后，结合了一个MLP Block来明确建模复杂的变量间和变量内依赖性。

本研究的主要贡献可以总结为以下三点：

• •
  我们提出了PatchFusionMLP，这是一个可扩展的框架，它统一了多分辨率处理、多尺度修补和跨变量相关性建模，为复杂的LTSF任务提供了稳健且高效的解决方案。
• •
  我们引入了MRP和MTSEM技术。MRP在时间和频率域中同步增强了特征表示，而MTSEM利用并行多尺度修补来明确捕捉各种时间粒度下的内在模式，有效解决了单尺度方法中固有的信息丢失问题。同时，基于MLP的架构用于提取变量间和变量内的关系。
• •
  在十个真实世界数据集上的广泛实验表明，与最新的SOTA模型（如TimeKAN）相比，PatchFusionMLP的性能提高了9.70%到41.43%。此外，其全MLP架构在处理大规模数据时表现出卓越的计算效率和可扩展性。

部分摘录

具有跨域集成的时间序列建模

最近的研究越来越多地关注利用不同领域的互补信息来提高预测准确性[25]。TFMRN[26]通过在时间和频率域进行高分辨率和低分辨率扩展来解决数据不连续性和采样不足的问题。类似地，TimeKAN[27]通过使用多阶KAN表示学习进行分层分解，实现了对复杂时间动态的精确建模，结合了频域

方法

我们将LTSF任务形式化为从历史观测到未来状态的映射问题。设$X=\{x_1,x_2,\; \dots \dots$表示一个多变量时间序列，其中在每个时间步长t的观测值$X_t\in R^C$包含C个不同的变量。给定一个长度为L的历史回顾窗口，我们将输入的历史序列定义为张量$X_L=\{x_{t?L+1},,\; \dots \dots ,x_t\}$。预测任务的目标是在长度为T的未来预测范围内预测序列值，这被称为目标

实验

数据集和实现细节我们使用十个不同的真实世界数据集对PatchFusionMLP进行了全面评估：ETT（四个子集）[1]、Weather[2]、Electricity[3]、Traffic[4]、Exchange[36]、Solar-Energy[36]和ILI[5]。

我们将嵌入维度d_model设置为256，批量大小设置为

可扩展性和泛化分析

首先，在泛化能力方面，与依赖特定微调的传统策略不同，PatchFusionMLP使用一组统一的超参数在八个基准测试中实现了最先进或接近最先进的性能。这证实了该架构具有自适应特征提取能力，能够成功捕捉通用模式而不会过拟合。其次，跨域测试验证了其迁移潜力。在ILI上的盲测中

结论和未来工作

本研究提出了PatchFusionMLP，这是一个可扩展的多分辨率框架，旨在解决单尺度修补和时间-频率同步建模在LTSF中的固有局限性。我们的主要贡献在于将MRP模块与MTSEM机制相结合，使其能够明确捕捉细粒度时间波动和全局趋势。在十个真实世界基准数据集上的实验结果表明，PatchFusionMLP始终能够实现

声明

随着深度学习模型越来越多地应用于现实世界，评估它们的潜在社会影响和伦理风险变得至关重要。鉴于PatchFusionMLP在能源分配、金融市场和交通规划等高风险领域的潜在用途，必须警惕算法决策的意外后果。尽管该模型具有出色的预测准确性，我们仍然建议

未引用的参考文献

[40]。

CRediT作者贡献声明

Xinyu Bi：撰写——审稿与编辑，撰写——原始草案，可视化，验证，监督，软件，资源，项目管理，方法论，调查。

Chen Chen：资源，项目管理，方法论，调查，资金获取，正式分析。

Cheng Chen：软件，资源，项目管理，方法论，调查。

Xiaoyi Lv：撰写——原始草案，资金获取，正式分析。 Junyu Zhu：监督，软件，资源。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

作者衷心感谢所有匿名审稿人的宝贵意见和建议。该研究得到了新疆维吾尔自治区重大科技项目（编号2023A03001）和新疆维吾尔自治区“天池人才”引进计划的支持。