基于频率差分注意力机制的变量优先风能变压器

《Engineering Applications of Artificial Intelligence》：Variable-first wind power transformers via frequency-differential attention

风能预测模型创新研究：提出基于逆Transformer架构融合时空特征与差异化注意力机制的混合模型，有效提升复杂环境下风功率预测精度，实验显示其R2值最高达0.9822，RMSE和MAE分别降至7.1490和4.2996。

　　

张彪|丁晓川|王群杰|江旭初|齐慧

聊城大学人工智能与计算机科学学院，中国聊城252000

摘要

风力发电在全球能源转型中的重要性持续增长。准确的风力发电预测对于确保电网稳定性至关重要。然而，风力发电数据表现出强烈的非线性和多高度风速测量值与发电量之间的变量间依赖性，这使得即使在短期预测中也难以实现准确预测。为了解决这一问题，本文旨在开发一个更准确的预测模型。具体而言，我们提出了一种基于倒置Transformer架构的新型集成风力发电预测模型，该模型结合了融合傅里叶卷积混合器模块，以同时捕捉时域和频域特征。此外，它采用了一种差分注意力机制作为自注意力的变体，增强了注意力对比度并抑制了冗余响应，从而改进了对变量间依赖性和窗口内多尺度模式的建模。在涵盖所有四个季节的风力发电数据集上进行的对比实验表明，与基准方法相比，我们的模型表现出更强的整体性能。在不同季节中，它始终获得了最高的决定系数值，最高达到0.9822，同时保持了具有竞争力的误差指标，均方根误差和平均绝对误差值分别低至7.1490和4.2996。尽管某些基线方法在特定季节获得了略低的误差值，但所提出的方法在准确性和鲁棒性方面提供了最佳平衡。这证实了我们模型的强大拟合能力和泛化能力，展示了高预测准确性和鲁棒性，从而为提高电网运行稳定性提供了可靠的新范式。

引言

风能是一种具有强间歇性的可再生能源，其发电量与风速、风向、温度和大气压力等各种气象因素之间存在复杂的耦合关系（Krüger等人，2020年）。这些动态相互作用导致了风力发电的高度非线性和波动性（Yang等人，2023年）。从更广泛的系统层面来看，将风能与灵活负载相结合进一步增加了运行不确定性（Yang等人，2025年）。因此，在多样化和快速变化的环境条件下实现准确的风力发电预测仍然是可再生能源领域的一个关键挑战和主要研究方向（Wang等人，2024a；Tuncar等人，2024年）。

传统的风力发电预测方法可以分为两大类：基于物理的方法和统计学习技术。基于物理的模型通过明确建模气象条件和风速等环境因素来模拟风力发电的物理过程。统计学习方法，包括时间序列分析和传统机器学习算法，从历史观测数据中推导出预测关系（Belletreche等人，2024年）。然而，这两种方法都难以捕捉风力发电数据中固有的复杂非线性相互作用和时间依赖性。此外，它们的预测准确性常常受到环境变化和测量噪声的限制。

随着深度学习的不断进步，循环神经网络（RNN）架构（如长短期记忆（LSTM）网络和门控循环单元（GRU）网络）的创新（Wang等人，2021a）在风力发电预测方面取得了实质性进展（Wan等人，2025年）。数据驱动的学习范式也在电力系统应用中得到越来越多的采用（Meng等人，2023年）。通过构建多层非线性转换机制，这些模型能够有效学习风速序列中的复杂动态模式和跨时间相关性（Yin等人，2024年）。尽管取得了这些成就，但仍存在几个关键挑战：

(1)

如何捕捉数据的全球性特征？风力发电数据既表现出局部动态波动，也表现出重复的全球性模式。仅基于时域信号的建模往往强调短期变化，而忽视了周期性结构和跨时间相关性（Li和Wang，2025年）。这可能导致预测结果对瞬态干扰非常敏感，并缺乏多尺度一致性（Cazelles等人，2007年）。有效的建模策略应平衡局部和全局信息，在提取和利用潜在的周期性特征的同时保持短期动态性。这种方法可以提高复杂风力发电输出序列的预测准确性和稳定性（Chen等人，2022年）。

(2)

如何处理变量间的关系？传统的Transformer模型通常将所有变量或特征投影到相同的潜在空间中进行交互计算。虽然这种方法在捕捉全局依赖性方面有效，但可能在特征层面引入结构扭曲（Wu等人，2021年）。不同的变量通常具有统计独立的分布和不同的运行机制。通过相同的线性投影和共享的注意力权重来映射它们往往会掩盖特征之间的语义差异和层次关系。因此，特征表示可能会不自然地重叠，从而在处理多维输入时影响可解释性和鲁棒性。

(3)

如何识别关键信息？在传统Transformer的自注意力机制中，所有输入特征在计算过程中被赋予相同的权重。尽管这种均匀处理允许模型捕捉任何位置的依赖性，但它降低了区分不同特征相对重要性的能力（Zhang等人，2024年）。因此，有效识别和强调关键信息同时保持建模全局依赖性的能力已成为提高Transformer性能的核心挑战（Sheng等人，2023年；Ouyang等人，2025年）。

这些方面揭示了现有模型的核心局限性。为了解决这些挑战，我们提出了一种基于倒置Transformer（iTransformer）架构的新型风力发电预测模型，该模型结合了融合傅里叶卷积混合器（FFCM）和差分注意力机制（DiffAttn）以提高风力发电预测的准确性。此后，该模型被称为FFCM-DiffAttn-iTransformer。我们方法的优点可以总结如下：

(1)

整合时域和频域特征。该模型通过FFCM模块系统地结合了时域和频域特征，揭示了风力发电数据中的潜在周期性模式和频率成分。这种方法克服了传统时域建模在捕捉依赖性和重复模式方面的局限性。

(2)

以变量为中心的独立编码。嵌入层将每个变量的完整时间序列编码为独立令牌，而不是使用传统的基于时间步长的编码。这保留了变量之间的非线性相关性，并增强了模型支持电网调度和整合的能力。

(3)

DiffAttn用于关键信息。通过使用两个子空间中的差异响应作为启发式重新加权策略，模型增强了注意力对比度，并强调了更具区分性的结构，提高了表示质量。

相关工作

相关研究

在本节中，我们回顾了时间序列预测的关键研究。随着数据量的快速增长和计算能力的提升，该领域的研究越来越关注以下几个方面。

提出的模型

在本节中，我们提出了一种新型的风力发电预测模型FFCM-DiffAttn-iTransformer，如图1所示。该模型架构包括三个主要组成部分：(a) FFCM，(b) iTransformer模型，以及(c) DiffAttn机制。具体来说，(a) 处理输入数据。FFCM通过多尺度动态卷积（DConv）提取时域中的局部特征，同时通过二维快速傅里叶变换（2D FFT）捕获频域中的全局模式。

实验

本节介绍了FFCM-DiffAttn-iTransformer模型在风力发电预测中的应用，并概述了一个系统的实验框架。数据预处理包括相关性分析、异常值检测和高斯混合聚类。对比实验使用集成学习和深度学习模型作为基准来评估预测性能，而消融研究则评估各个模块的贡献。模型鲁棒性进一步通过（1）进行检验。

讨论

本文通过提出一种集成FFCM-DiffAttn-iTransformer的混合模型来解决风力发电预测的关键问题，显著提高了风力发电预测的准确性。该模型结合了FFCM模块、DiffAttn模块和iTransformer。它实现了全局和局部信息的有效融合，提高了特征传播效率以及模型关注关键特征的能力，从而提升了预测性能。消融实验进一步验证了这一点。

结论

本文提出了FFCM-DiffAttn-iTransformer，这是一种适用于复杂动态环境中的风力发电预测的混合模型。该模型通过FFCM模块整合了时域和频域特征，采用变量优先级嵌入来保留变量间的相关性，并用DiffAttn机制替代了传统的多头自注意力，以捕捉趋势、建模多变量依赖性并强调关键信息。在真实世界数据上的全面实验验证了其有效性。

CRediT作者贡献声明

张彪：数据整理、概念化。丁晓川：形式分析、数据整理。王群杰：形式分析、数据整理。江旭初：资金获取、形式分析、数据整理、概念化。齐慧：形式分析、数据整理。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（52405572、62303204）、湖北省自然科学基金（2025AFC119）以及山东省高等学校青年创新与技术支持计划（2025KJH168）的支持。