基于Patch Time Series Transformer的非平稳多尺度预测模型,用于多步煤炭价格预测

《Engineering Applications of Artificial Intelligence》:Non-stationary multi-scale prediction model based on Patch Time Series Transformer for multi-step coal price forecasting

【字体: 时间:2026年02月21日 来源:Engineering Applications of Artificial Intelligence 8

编辑推荐:

  煤价预测中非平稳性与多尺度特性导致传统模型效果受限,本文提出NS-MS-PTST模型,通过多尺度分块Transformer与分层可逆归一化机制,结合动态门融合策略和响应时间评估指标,有效捕捉细粒度时序特征与全局分布偏移,实验表明其在误差精度、恢复速度及中长期预测上显著优于基线模型。

  
沈帅|杜冰|孙凯迪|徐家宝|宁焕生|刘振
北京科技大学计算机与通信工程学院,北京,100083,中国

摘要

准确预测煤炭价格对于维护煤炭市场稳定和支持碳中和倡议至关重要。然而,煤炭价格时间序列固有的非平稳性和多尺度特性给有效建模带来了重大挑战。为了解决这些问题,我们提出了非平稳多尺度补丁时间序列变换器(NS-MS-PTST),这是一种新型预测模型,它将补丁时间序列变换器与可逆实例标准化(ReVIN)相结合,以共同捕捉细粒度的时间结构并减轻分布偏移。在此基础之上,该模型进一步引入了分层可逆标准化机制,该机制结合了局部可逆补丁标准化(ReVPN)和全局ReVIN,以捕捉细粒度的局部统计信息和全局分布特性。这种分层设计显著增强了模型对复杂且不断变化的煤炭价格动态的适应能力。该模型还采用了多编码器架构,并结合了逐级参数衰减策略,以实现多尺度时间建模,同时控制复杂性,并采用了逐步门控融合策略,动态平衡不同时间尺度的贡献。此外,引入了响应时间指标来定量评估模型在价格突然波动后的恢复速度,突显了其动态适应性和实际效用。在真实世界的煤炭价格数据集上的广泛实验表明,NS-MS-PTST在多个标准评估指标上实现了最低的预测误差,并在面对异常价格波动时表现出最快的响应和恢复速度,特别是在中长期预测任务中。这些结果证实了该模型在真实世界煤炭市场场景中的优越准确性、强大的泛化能力和鲁棒性。

引言

作为中国能源体系的重要组成部分,近年来由于能源转型政策的实施,煤炭的份额有所下降。尽管如此,煤炭因其广泛应用于各个行业而在历史上一直占据主导地位(Sun等人,2017年)。在短期内到中期,煤炭仍然不可或缺,其价格波动将持续影响中国能源系统的运行效率以及宏观经济的稳定性(Jiang等人,2021年)。特别是在推进碳中和目标的背景下,政策环境的日益复杂性导致了市场波动性和不确定性的增加,这进一步成为影响国家经济增长和企业运营的关键因素(Gu等人,2020年)。现有研究还强调,政策的频繁变化加剧了煤炭价格波动性,给市场监管带来了额外挑战(Jiang等人,2019年)。
在这种背景下,准确的煤炭价格预测至关重要。一方面,煤炭价格的波动直接影响电力生产成本和企业运营策略,因此精确预测对于缓解与能源成本相关的风险至关重要(Yaoye等人,2019年)。另一方面,煤炭价格是重要的市场预期指标,为制定和调整政府能源政策提供了关键的定量参考(Zhao等人,2016年)。此外,煤炭价格的变化直接影响碳排放交易系统的效率,为与碳中和政策相关的经济评估和监管机制提供了关键的数据支持(Seifert等人,2008年)。因此,准确描述煤炭价格动态并监测其趋势可以提高政策监管的预见性和精确性,确保能源市场的稳定,并促进碳中和目标的顺利实现。
由于煤炭市场的固有波动性,预测煤炭价格仍然具有挑战性。传统的计量经济模型,如自回归积分移动平均(ARIMA)和季节性自回归积分移动平均(SARIMA),由于其计算效率而被广泛用于能源需求预测(Ediger和Akar,2007年)。同样,广义自回归条件异方差(GARCH)模型有效地捕捉了异方差波动性(Byun和Cho,2013年)。然而,这些模型在处理煤炭价格序列的非线性和非平稳特性时存在局限性,尤其是在应对突发干扰时(Matyjaszek等人,2019年)。
为了克服这些缺点,研究人员引入了机器学习方法,包括支持向量机(SVM)(Zheng等人,2021年)、多层感知器(MLP)(Lee和Ko,2011年)、随机森林(Shi等人,2018年)和极端梯度提升(XGBoost)(Phan等人,2021年),从而提高了捕捉复杂非线性关系的能力并提高了短期预测的准确性。此外,混合建模策略也变得越来越重要。例如,将线性趋势与非线性残差相结合的ARIMA-SVM模型显著减少了多步预测误差(Tarmanini等人,2023年)。最小二乘支持向量机(LSSVM)(Zhu等人,2017年)和反向传播神经网络(BPNN)(Han等人,2019年)等方法在煤炭价格预测任务中始终优于传统模型。尽管这些机器学习方法取得了初步的成功,但它们的浅层架构限制了它们模拟长期依赖性和复杂动态模式的能力(Wang等人,2019年)。
为了解决这些局限性,深度学习模型,如卷积神经网络(CNN)(Lara-Benítez等人,2020年)、循环神经网络(RNN)(Bouktif等人,2020年)和长短期记忆(LSTM)网络(Zhu等人,2018年)已被广泛采用,在能源价格预测中表现出色。此外,研究人员还将时间序列分解方法(包括经验模态分解(EMD)、变分模态分解(VMD)和小波变换(WT)整合到深度学习框架中,以提高模型精度。像EMD-LSTM(Sun和Li,2020年)和VMD-LSTM(K. Zhang等人,2022年)这样的模型在多样化的煤炭市场中表现出强大的适应性。然而,这些分解技术面临实际限制,如模态混合(Huang等人,1998年)和对预定义分解层的依赖性(Dragomiretskiy和Zosso,2013年)。
最近,由于变换器模型在长距离依赖性建模能力和高效并行计算方面的优势,它们迅速成为时间序列预测的主流架构(Song等人,2025年)。与LSTM相比,变换器有效地减轻了多步预测中的误差累积,显著提高了预测的鲁棒性和准确性(Wu等人,2022年)。因此,研究人员开发了先进的变换器架构,如AutoFormer,它包含用于捕捉长期趋势和周期模式的模块(Chen等人,2021年);FedFormer,它利用傅里叶变换来增强频域感知(Zhou等人,2022年);Patch Time Series Transformer(PatchTST),它使用局部补丁建模来捕捉细粒度动态结构(Nie等人,2022年);以及可逆实例标准化(ReVIN),它使用可逆标准化机制来减轻分布偏移并保留样本之间的统计差异(Kim等人,2021年)。这些创新使基于变换器的模型具有更大的灵活性和稳定性,特别是在捕捉长期依赖性方面。最近的研究还探索了处理这些复杂性的补充方法,包括高级多视图特征融合(Zeng等人,2024年)、多尺度系统风险分析(X. Zhang等人,2022年)和动态多智能体交互建模(Wang等人,2025年),进一步丰富了非平稳时间序列预测的方法工具箱。
然而,与一般时间序列相比,煤炭价格序列具有更复杂的结构特征,同时具有多尺度动态特性,包括短期波动、长期渐进趋势和周期性行为。此外,它们的统计特性(如均值和方差)表现出显著的时间变化性,呈现出明显的非平稳特性。这些复杂性极大地阻碍了稳定模式的提取,对模型的泛化和鲁棒性提出了严格要求。因此,在深度学习框架内有效建模煤炭价格序列的多尺度结构和非平稳动态构成了一个关键的研究挑战。
为了解决这些挑战,本研究提出了一种创新的煤炭价格预测模型,该模型结合了PatchTST和ReVIN。主要贡献如下:
  • (1)
    多尺度序列建模和优化参数配置:利用多尺度补丁分割,将原始序列划分为不同粒度的子序列,每个子序列通过独立的变换器编码器进行处理,以捕捉不同时间尺度上的动态。设计了一种递减尺度的参数配置策略,以控制模型复杂性并防止过拟合,平衡建模能力和计算效率。
  • (2)
    分层可逆标准化机制:为了解决非平稳序列中的分布偏移,在局部补丁级别应用基于ReVIN的可逆标准化方法,在每个补丁内进行独立的标准化和逆标准化。同时,全局可逆标准化模块建立了分层标准化框架,增强了模型对非平稳动态的适应能力,同时保留了统计差异。
  • (3)
    逐步门控融合策略:在多尺度特征融合阶段,对齐模块和加权门控机制动态整合来自不同尺度的编码器输出,实现自适应的多尺度特征融合,显著提高了表示能力和预测准确性。
  • (4)
    时间序列响应时间指标:提出了一种响应时间评估指标,用于衡量模型对突发事件的响应能力。实证验证证明了模型在复杂场景下的动态恢复能力和预测稳定性,证实了其在实际应用中的潜力。
研究的后续部分结构如下:第2节详细介绍了PatchTST、ReVIN和所提出模块的相关公式推导。第3节详细描述了实验框架,包括数据描述、数据集划分、预处理步骤、评估指标和超参数优化程序。第4节对实验结果进行了比较分析。最后,第5节总结了研究结果并提出了未来研究的方向。

部分摘录

方法论

在本节中,我们提出了一种名为非平稳多尺度补丁时间序列变换器(NS-MS-PTST)的预测模型,它将PatchTST与ReVIN相结合,有效解决了时间序列数据中常见的非平稳性和多尺度特性。该模型的整体架构如图2所示。

实验框架

煤炭价格预测模型的实验框架,包括数据预处理、数据集分割、模型选择(超参数优化)和实验结果的最终评估,在图5中进行了说明。

结果与分析

本章提出了三组实验,旨在系统评估所提出模型在预测准确性、结构有效性和对异常情况的响应能力方面的性能。所有实验均使用秦皇岛港和上海港的预处理煤炭价格数据,数据集被划分为训练、验证和测试子集。训练过程中使用均方误差(MSE)作为损失函数,而基于MSE的指标

贡献总结

本文提出了一种新颖的多尺度非平稳时间序列预测框架(NS-MS-PTST),它结合了PatchTST和ReVIN,以解决煤炭价格预测中的复杂非平稳性和多尺度特性。广泛的实验分析证实了所提出模型的有效性,得出以下结论:
  • (1)
    与主流模型相比具有更优越的整体预测性能:NS-MS-PTST模型在煤炭价格预测方面表现出显著优势

CRediT作者贡献声明

沈帅:撰写——原始草稿、可视化、软件。杜冰:撰写——审阅与编辑、验证、方法论、概念化。孙凯迪:资源、调查。徐家宝:监督。宁焕生:项目管理。刘振:撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本研究由中国国家清洁能源与低碳能源研究所资助的研究项目(合同编号:NICE_RD_2023_61)和国家自然科学基金(奖励编号:62471031)资助。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号