基于时频分析的金字塔信道网络在长期时间序列预测中的应用

《Neurocomputing》：Time-frequency-based pyramid channel network for long-term time series forecasting

时间序列预测方法提出基于时频域的 pyramid 通道网络（TPCNet），通过多通道季节特征注意力残差融合（MSFARF）结构和双维注意力残差金字塔（DARP）结构，结合短时傅里叶变换、残差思想和注意力机制，有效整合不同通道的季节关联性和多尺度时序特征，实验表明其性能优于六种经典方法。

　　

江志强|董永生|韩敏|杨浩天|陈晓通

西南交通大学计算机与人工智能学院，中国成都610031

摘要

已经提出了许多基于时域和频域的方法用于长期时间序列预测。为了获取不同通道在不同时间尺度上的季节性相关性以及时间序列特征，我们提出了一种全新的基于时频的金字塔通道网络（TPCNet）用于长期时间序列预测。具体来说，我们首先构建了一个多通道季节性特征注意力残差融合结构，通过使用短时傅里叶变换、残差思想和多个核的不同通道的融合操作来获取不同通道之间的季节性相关性。然后，我们提出了一种二维注意力残差金字塔结构，通过使用张量求和操作、残差思想和注意力机制来获取不同时间尺度上的时间序列特征。最后，我们通过全连接操作获得时间序列预测结果。根据在六个常用时间序列数据集上的实验结果，我们提出的TPCNet与许多经典方法相比显示出有竞争力的预测性能。

引言

时间序列预测在能源估计[1]、[2]、[3]、交通[4]、[5]、流行病、金融等任务[4]、[6]、[7]中至关重要。时间序列预测是基于历史观察到的时间序列数据来预测未来趋势的研究任务[8]。随着机器学习技术的发展，时间序列预测取得了显著进展[9]、[10]、[11]。

在过去的10年里，提出了许多优秀的时间序列预测方法[8]、[12]、[13]。从时频域的角度来看，这些时间序列预测方法可以分为基于时域的预测方法和基于频域的预测方法。一些基于变压器的预测方法和基于卷积神经网络（CNN）的预测方法仅提取时域的特征信息。基于变压器的方法在时间序列预测任务中表现出良好的预测性能[12]、[14]。然而，基于变压器的方法面临许多限制[13]、[15]、[16]。基于变压器的方法存在设计复杂和计算需求量大等限制[13]。基于变压器的方法在训练过程中通常比基于CNN的方法消耗更多时间[14]。

基于时域的预测方法包括Informer[12]、SegRNN[13]等[17]。在Informer方法中提出了一种有效的注意力机制用于时间序列预测[12]。SegRNN方法提出了一种分段循环神经网络[13]，有效提高了时间序列的预测性能，并使循环神经网络在时间序列预测任务中发挥重要作用。在时间序列预测任务中，时间和频率信息起着重要作用[18]。时域包含时间相关性和时间周期性信息[18]、[19]、[20]。在时间序列的频域中可以获得全局信息和潜在趋势[18]、[19]、[21]。时间序列中的不同通道具有不同的时间周期性和全局信息[18]、[19]。目前，已经提出了一些用于通道研究的方法，一些方法的研究表明，独立通道方法在时间序列预测中的作用大于混合通道方法[18]、[19]。以前的方法在时间序列通道方面取得了显著进展，但这些方法在获取不同通道之间的季节性相关性方面仍面临挑战。

为了获取不同时间尺度上的序列信息，已经提出了一些有效的算法[11]、[22]。提出了一种多尺度自适应图神经网络（MAGNN）来获取多尺度时间特征表示和特定尺度变量之间的依赖性[8]。这些方法[8]、[22]是从时域角度获取特征表示的。这些方法[8]、[22]尚未从时域和频域的角度进行研究。同时，当前对通道的研究是分别从独立通道和混合通道的角度进行的[18]、[19]。我们提出了一种新的方法，从整体角度出发，考虑了通道间和通道内的特征。

为了获取不同通道之间的季节性相关性以及不同尺度上的时间序列特征，我们提出了一种基于时频的金字塔通道网络用于时间序列预测任务。首先，我们从时频域的角度对时间序列预测任务进行了全面分析，并使用傅里叶变换处理时域和频域中的时间序列数据。其次，我们构建了一个多通道季节性特征注意力残差融合（MSFARF）结构来获取不同通道之间的季节性相关性，并提出了一种二维注意力残差金字塔（DARP）结构来获取不同尺度上的时间序列特征。

本文的主要贡献如下：

1.

我们提出了一种用于长期时间序列预测的新型基于时频的金字塔通道网络（TPCNet）。该网络可以通过短时傅里叶变换获取时间序列数据的频率特征，并通过使用注意力机制和获取不同尺度上的时间序列特征来执行时间序列预测任务。

2.

我们提出了一种多通道季节性特征注意力残差融合（MSFARF）结构，通过使用短时傅里叶变换、残差思想和多个核的不同通道的融合操作来获取不同通道之间的季节性相关性。

3.

我们提出了一种二维注意力残差金字塔（DARP）结构，通过使用张量求和操作、残差思想和注意力机制来获取不同尺度上的时间序列特征。DARP结构可以从时域和频域的角度提取不同尺度上的时间序列特征。

4.

实验结果表明，我们提出的TPCNet与其他经典算法相比具有令人满意的性能。

本文的其余部分组织如下。第2节介绍了相关工作。第3节介绍了所提出的方法。第4节展示了实验结果。最后，第5节提供了简洁的结论。

相关研究

相关工作

随着机器学习的快速发展，时间序列预测算法也取得了显著进展[23]、[24]、[25]，并且提出了许多具有良好预测性能的时间序列算法。这些时间序列算法大致可以分为：基于变压器的算法[14]、[26]、基于CNN的算法[27]、[28]和基于循环神经网络（RNN）的算法[13]、[29]。

变压器算法最初是为自然语言处理设计的

我们提出的方法

在本节中，我们描述了我们提出的用于长期时间序列预测的基于时频的金字塔通道网络（TPCNet）。我们的TPCNet从时域和频域的角度执行时间序列预测任务。在以下小节中，为了实现不同通道之间的季节性相关性，我们首先构建了一个多通道季节性特征注意力残差融合（MSFARF）结构。然后我们介绍了一种二维注意力残差

实验

在本节中，我们使用Weather、Electricity以及ETT（ETTh1、ETTh2、ETTm1和ETTm2）数据集测试了我们提出的TPCNet，并将其与六种经典时间序列预测算法进行比较，以展示其有效性。我们将在以下小节中首先介绍本文使用的数据集、基线和评估指标。然后描述我们提出的TPCNet的实现细节并进行消融实验。最后，我们将比较我们提出的TPCNet

结论

在本文中，我们提出了一种全新的基于时频的金字塔通道网络（TPCNet）用于长期时间序列预测。它基于MSFARF结构和DARP结构。它可以通过全连接操作获得最终预测结果。考虑到合适的训练策略，我们提出的MSFARF结构可以获取不同通道之间的季节性相关性，而提出的DARP结构可以获取不同尺度上的时间序列特征。我们提出的TPCNet

CRediT作者贡献声明

江志强：撰写——原始草稿、可视化、验证、方法论、调查、形式分析。董永生：撰写——审阅与编辑、方法论、调查、形式分析。韩敏：撰写——审阅与编辑、监督、方法论、调查、形式分析。杨浩天：撰写——审阅与编辑、方法论、调查、形式分析。陈晓通：撰写——审阅与编辑、方法论、调查、形式分析。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

江志强目前在中国西南交通大学计算机与人工智能学院攻读计算机科学技术博士学位。他的研究兴趣包括时间序列预测和数据智能。