《Internet of Things》：TAPformer: A Transformer with Adaptive Attention and Temporal Projection Encoding for Long-Term Electricity Load Forecasting in IoT Systems
编辑推荐：
长时电力需求预测中，TAPformer模型通过时空投影编码和双尺度注意力机制，解决Transformer模型静态时间编码和局部/全局依赖失衡问题，采用并行解码架构提升效率，实验显示MSE降低达60%，sMAPE稳定在2%以下。
Franck Junior Aboya Messou|Jinhua Chen|Shilong Zhang|Tong Liu|Amr Tolba|Osama Alfarraj|Keping Yu
东京工业大学理学工程学院，日本东京小金井市梶野町3-7-2，邮编184-8584
摘要 准确地进行长期电力需求预测对于物联网（IoT）应用至关重要，例如电网稳定性、能源规划和需求管理。然而，现有的基于Transformer的模型面临两个主要限制：位置编码忽略了时间语义，而注意力机制难以平衡局部和全局依赖性。我们提出了TAPformer，这是一种专为物联网能源预测设计的仅解码器的Transformer架构。TAPformer引入了两项创新：（i）时间投影编码模块，将原始时间特征嵌入到自适应的潜在表示中；（ii）双尺度注意力机制，融合了局部高斯偏置和全局自注意力路径。与递归方法不同，TAPformer并行预测整个预测范围，提高了稳定性和效率。在四个ETT基准测试上的实验表明，其性能持续提升，与TFEformer相比，在ETTm1上MSE降低了60%，在ETTh2上降低了20.8%。在IHEPC数据集上的案例研究进一步证实了其长期预测的准确性，相对误差（sMAPE、WAPE）始终低于2%。这些结果使TAPformer成为智能电网和能源管理场景中电力负荷预测的紧凑、可解释且适用于物联网的解决方案。
引言 物联网（IoT）设备在各个领域的迅速普及导致了多变量时间序列数据的显著增长。Lin等人[1]展示了智能能源系统的进展，Yu等人[2]研究了医疗应用，Guo等人[3]探讨了交通系统，Sako等人[4]研究了金融市场，其他工作也报告了工业监控方面的进展。
特别是从智能电网、变电站和消费者级传感器收集的电力负荷数据，表现出复杂的时间依赖性、变化的季节性模式和动态的需求波动。这些特性使得准确的长期预测对于电网稳定性、规划和能源管理至关重要。然而，有效建模这种复杂性，尤其是长期时间相关性，仍然是一个巨大的挑战。尽管基于Transformer的模型在自然语言处理和计算机视觉中的长期依赖性建模方面显示出潜力，但它们在时间序列预测中的应用，尤其是在能源和物联网应用中，仍在位置编码和注意力机制设计方面面临根本性限制。
最近的研究尝试从不同角度解决这些限制。Nie等人[5]提出了PatchTST，它重新制定了输入表示以更好地捕捉局部模式。Wu等人[6]引入了Autoformer，该模型分解了季节趋势成分，从而提高了结构化环境中的准确性。Liu等人[7]开发了iTransformer，Ying和Lu[8]提出了TFEformer，专注于变量级表示以增强多变量动态的建模。同时，Li等人[9]提出了DifFormer，Zhang等人[10]引入了MTST，Zhang和Yan[11]设计了Crossformer，通过差分操作、多分支注意力和分层拼接来探索多尺度时间建模。虽然这些创新推动了该领域的发展，但它们通常保留了静态的位置编码，并依赖于预定义的注意力结构。
大多数模型采用固定的位置编码，如正弦形式、可学习向量或隐式索引，这些编码无法捕捉明确的时间语义，如一天中的时间、一周中的天数或一年中的月份。这种静态的时间视图降低了模型在异构数据集上的泛化能力，尤其是在周期性结构变化时。这种限制在Wu等人的Autoformer[6]、Zhou等人的Informer[12]、Nie等人的PatchTST[5]和Liu等人的Pyraformer[13]中表现得尤为明显。注意力结构也各不相同：Liu等人[14]、Liang等人[15]和Zhou等人[16]依赖于完全全局的注意力，导致计算量大且局部信号被稀释，而Nie等人[5]、Liu等人[13]和Shabani等人[17]仅使用局部范围，限制了全局模式的捕捉。此外，Zhou等人的Informer和Liu等人的解码器[14]采用了递归预测，而Ying和Lu[8]、Liu等人[7]、Han等人[18]以及Wu等人[6]则强制使用刚性预测范围，不允许预测步骤之间的交互。
为了克服这些缺点，我们最近的工作探索了在预测Transformer中增强时间表示的方法。特别是Messou等人[19]提出的TSFormer引入了可学习的位置编码和时间感知的注意力机制，在多时间范围预测中取得了显著改进。基于这一研究方向，我们提出了TAPformer，这是一种专为高效和表达力强的长期负荷预测设计的仅解码器Transformer架构。我们的模型通过轻量级、可学习和动态组件重新设计了位置编码和注意力机制，确保了在能源领域的通用性和可扩展性。本文的主要贡献如下：
1. 时间投影编码（TPE）： 一种新颖的位置编码机制，通过实例归一化和共享的非线性投影将原始时间戳派生特征（小时、天、月等）转换为上下文嵌入。这种自适应设计捕捉了季节性语义，并提高了在不同周期性数据集上的泛化能力。
2. 双尺度注意力（DSA）与Alpha引导的局部融合： 一种轻量级的注意力机制，通过高斯偏置显式计算局部模式，并通过标准点积分数计算全局模式。这两种路径通过基于时间接近性的可解释的alpha加权策略进行融合。
3. 仅解码器架构与并行预测： 一种紧凑的仅解码器结构，并行预测整个预测范围，避免了递归解码。这提高了推理速度，消除了暴露偏差，并支持目标窗口内的更丰富的时间交互，相比最先进（SOTA）模型。
4. 通过降低复杂性获得实证收益：
本文的其余部分组织如下：第2节回顾了基于Transformer的时间序列预测的先前工作，包括位置编码和注意力策略。第3节介绍了TAPformer架构及其关键组件，包括时间投影编码和双尺度注意力。第4节描述了数据集、基线、实现细节和评估指标。第5节展示了主要预测结果、消融研究和效率分析。第6节进一步讨论了模型行为、限制和未来方向。最后，第7节总结了本文。
相关工作 相关工作 多变量时间序列预测（MTSF）的最新进展在很大程度上得益于基于Transformer的架构，这些架构能够通过自注意力建模长期依赖性。然而，当应用于时间数据时——特别是在物联网（IoT）环境中，电力需求、传感器网络和家庭级负荷表现出强烈的周期性——这些模型遇到了持续的局限性，特别是在时间编码、注意力范围管理和处理方面
问题表述 MTSF的任务是根据历史观测值预测多个相关变量的未来值。这个问题在物联网（IoT）系统中尤为基础，因为分布式传感器不断生成高维时间数据流，这些数据流在时间和变量上表现出复杂的依赖性，例如家庭能源消耗、电网级测量或城市监控信号。形式上，χ 表示长度为L 的多变量时间序列输入，
数据集 实验在八个真实世界的多变量时间序列数据集上进行。Zhou等人[12]的电力变压器温度（ETT）基准测试包括四个子集——ETTh1、ETTh2、ETTm1和ETTm2——这些数据集来自两个电力变压器，其中“h”和“m”分别表示每小时和15分钟的采样分辨率。此外，Hébrail和Berard[29]提供的家庭电力消耗（IHEPC ）数据集提供了分钟级别的家庭能源需求
主要预测结果 在96、192、336和720的预测范围内，使用MSE和MAE报告了四个基准数据集的预测性能，如表2所示。TAPformer与第4.2节列出的最新基线模型进行了比较。在大多数设置中，TAPformer实现了最低的误差，尤其是在较长的预测范围内。例如，在ETTm1上，它在720时间点的误差为M S E = 0.190
结论 本文介绍了TAPformer，这是一种用于物联网环境中长期电力负荷预测的基于Transformer的架构。该模型解决了现有方法的两个关键限制：静态位置编码和僵化的注意力机制。通过时间投影编码，TAPformer将日历派生的协变量转换为自适应的潜在嵌入，增强了时间泛化能力。其双尺度注意力机制通过
CRediT作者贡献声明 Franck Junior Aboya Messou： 撰写——原始草案、项目管理、方法论、形式分析、数据整理。Jinhua Chen： 验证、资源、项目管理。Shilong Zhang： 撰写——审阅与编辑、可视化。Tong Liu： 调查、形式分析。Amr Tolba： 监督、资金获取。Osama Alfarraj： 监督、形式分析。Keping Yu： 撰写——审阅与编辑、验证、监督、方法论。
利益冲突声明 作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
