利用双向时间卷积网络和注意力机制进行的多特征风速预测

《Journal of Computational Science》：Multi-feature wind speed prediction using bidirectional temporal convolutional networks and attention mechanisms

　　小新月|文辉刘|玉龙白|庆和余|瑞王|齐松
中国兰州西北师范大学物理与电子工程学院

摘要
准确的风速预测对于风能的高效利用至关重要。然而，许多传统的预测模型受到浅层特征提取、对人工特征工程的高度依赖以及捕捉复杂时间依赖关系的能力有限的制约。此外，现有研究往往依赖于单向建模策略和固定的超参数配置，这进一步限制了预测的准确性和鲁棒性，特别是在多特征输入的情况下。为了解决这些限制，本文提出了一种混合多特征风速预测框架，该框架整合了斑马优化算法（ZOA）、双向时间卷积网络（BiTCN）和自注意力机制。具体而言，BiTCN被用来捕捉正向和反向的时间依赖关系，从而比传统的单向模型更全面地利用历史上下文信息。自注意力机制被引入以自适应地学习潜在特征表示的相对重要性，从而减少对人工特征工程的依赖，并提高模型关注信息组件的能力。此外，ZOA被用来自动优化BiTCN-Attention架构的关键超参数，降低对经验参数调整的敏感性并提高收敛效率。所提出的模型使用从巴西国家气象局不同地点收集的四个多特征风速数据集进行了系统评估。实验结果表明，所提出的方法在准确性和鲁棒性方面始终优于基线模型，证实了其在多特征风速预测中的有效性。

引言
可再生能源的快速发展正在推动能源结构的转型，其中风能作为一种清洁且丰富的可再生能源，在全球范围内得到了广泛应用[4]。根据全球风能市场的最新数据和趋势，到2024年底，累计装机容量已达到1136吉瓦，使其成为可再生能源利用的重要组成部分[14]。然而，风能发电受到多种因素的影响，表现出高度的空间和时间变异性及不确定性。主要影响因素包括地形、气候和季节变化等自然条件，以及人类活动、电网负荷和技术水平等社会经济因素[46]。这些因素的复杂交织导致风速的高度不稳定性，给风能的整合以及电网的调度和管理带来了巨大挑战。准确预测未来的风速变化是应对这一挑战的关键。只有通过深入研究影响风速的多种因素并开发先进的预测技术，才能为风能的高效稳定运行提供可靠保障，并促进风能与电网的有效整合[29]。因此，探索影响风速的多特征及其预测方法对于推动可再生能源产业的高质量发展具有重要意义。

近年来，已经开发了许多数据驱动的预测模型来准确预测风速。这些模型可以分为单特征输入模型和多特征输入模型。在风能利用和气象预测领域，单输入风速模型的研究引起了极大的兴趣。杨等人[49]提出了一种基于机器学习技术的短期风速预测模型，并比较了包括人工神经网络（ANN）、支持向量机（SVM）和随机森林（RF）在内的不同算法的性能，并评估了它们预测风速的准确性。刘等人[23]提出了一种基于季节性ARIMA的海上短期风速预测方法。SARIMA模型在预测未来海上风速和提高时间序列预测准确性方面表现出色。

近年来，深度学习模型（如循环神经网络（RNN）和长短期记忆网络（LSTM）被用于预测风速。这些模型能够捕捉风速时间序列数据的序列依赖性和长期模式，从而提高预测准确性。混合模型[25]结合多种技术或算法来提高风速预测的准确性。王和廖[42]提出了一种结合分解技术和改进优化算法的混合VMD-Attention LSTM-ASSA模型，用于短期风速预测；Santhosh等人[31]提出了一种结合集成经验模态分解（EEMD）、最小二乘支持向量机（LSSVM）和长短期记忆网络（LSTM）的风速预测模型，为风速预测提供了新颖有效的解决方案，并具有实际应用价值。陈和刘[8]提出了一种基于深度强化学习的动态集成风速预测模型，该模型结合了集成学习、多目标优化和深度强化学习以确保有效性。这些研究展示了用于开发单输入风速预测模型的各种方法和技术。模型选择取决于数据可用性、预测范围和期望的准确性等因素。需要进一步的研究来探索新方法并提高风速预测模型的性能。

BiTCN模型[34]是一种基于卷积神经网络的方法，它利用两个时间卷积网络（TCNs）编码过去和未来的协变量，同时保持计算效率；在时间序列预测任务中取得了良好的性能。在此架构的基础上，BiTCN已在不同的应用领域得到广泛应用和扩展。张等人[54]提出了一种基于双向时间卷积网络（BiTCN）和多头自注意力机制（MHSA）的恶意网络流量检测模型，该模型能够更好地处理复杂的时间序列数据并提高检测准确性。宣等人[47]提出了一种基于SFCWGAN和BiTCN的恶意软件检测方法，旨在减轻恶意软件家族样本不平衡对检测准确性的影响。李和徐[19]提出了一种基于时空特征融合的多分类模型L2-BiTCN-CNN，用于识别各种互联网应用。此外，BiTCN还与其他深度学习结构结合使用，以提高预测准确性和鲁棒性。张等人[53]提出了一种具有双层分解和BiTCN-BiLSTM-Attention结构的新预测模型，该模型结合了时间序列分解和深度学习技术，具有高预测准确性和鲁棒性。宣等人[48]提出了一种结合序列和图像数据、BiTCN和TAEfficientNet的恶意软件分类方法，以及融合技术，为提高恶意软件分类的性能和效率提供了新的思路和方法。陈等人[10]提出了一种基于双向时空卷积网络的新型异常网络流量检测模型，BiTCN模型在精确度、准确性和召回率方面优于其他模型。陈等人[9]提出了一种基于改进的时间卷积网络的有效软件漏洞检测模型，BiTCN_DRSN模型在检测稳定性方面表现更好。

表1总结了时间序列预测中双向卷积神经网络的模型结构。

多特征输入模型[6]是利用多个气象因素作为输入来预测风速的模型。这些气象因素可以包括温度、湿度和压力等多个变量。通过整合多个气象因素的影响，多特征输入模型可以更准确地预测风速的变化。在多特征输入建模中，常用的方法包括物理方法[56]、统计方法[55]和机器学习方法[20]。物理方法利用气象和地理因素等物理参数来预测风速，但由于计算成本高且无法捕捉气象因素的复杂动态关系，物理模型[22]在短期风速预测方面存在局限性。统计方法利用历史时间序列中每个变量的线性关系来构建统计模型，如时间序列方法[18]、自回归移动平均（ARMA）方法[2]和卡尔曼滤波器方法[40]。这些方法克服了物理模型的缺点，但在处理气象元素之间的非线性关系时存在困难。机器学习方法如支持向量机（SVM）[11]、多层感知器（MLP）[21]和极端学习机（ELM）[35]可以提取风速时间序列中的复杂非线性特征，并在一定程度上提高预测准确性。

在多特征风速预测中，有效的特征选择和表示学习在提高预测准确性方面起着关键作用。传统的机器学习研究广泛研究了特征选择技术，以识别信息变量并减少冗余。例如，基于超图拉普拉斯学习的半监督特征选择方法被提出，以利用特征之间的复杂关系同时保留判别信息[32]。同样，基于共享子空间和流形学习的方法也被开发出来，通过捕捉内在特征相关性来实现鲁棒的多标签特征选择[33]。此外，非负矩阵分解等降维技术也被广泛研究，以学习紧凑且可解释的特征表示[30]。尽管传统的机器学习方法可以通过显式选择或转换输入特征来提高模型性能，但它们通常依赖于手工制作的特征选择标准和预定义的优化目标。为了解决这些问题，研究人员提出了基于深度学习的多特征输入模型[24]。深度学习利用分布式层次特征表示从数据中自动提取抽象特征和隐藏结构。通过结合卷积神经网络（CNN）和长短期记忆网络（LSTMs），多特征输入模型可以同时提取风速数据的时空特征，从而提高预测的准确性和可靠性[44]。程青等人[12]提出了一种新颖的集成深度图注意力强化学习网络，用于构建多因素驱动的时空风能预测模型。研究的重点[13]是将温度、湿度和大气压力等气象变量作为风速预测模型的输入。通过考虑这些变量的影响，模型可以捕捉天气条件与风速之间的复杂关系。Bentsen等人[5]专注于挪威大陆架的多步时空风速预测，该模型考虑了风速的空间和时间依赖性，并使用多因素气象数据进行预测。Zendehboudi等人[52]探索了使用多因素气象数据进行风速预测时支持向量机（SVMs）的应用，并将SVM的性能与其他传统方法进行了比较。Nguyen等人[26]提出了一种基于集成学习的多输入风速预测模型，综合考虑了温度、湿度等气象元素。

总之，多特征输入模型是风速预测的有效方法。通过综合考虑多个气象因素的影响并使用深度学习方法提取时空特征，多特征输入模型可以提高风速预测的准确性和可靠性。根据文献综述，尽管在使用统计和深度学习模型进行风速预测方面取得了显著进展，但仍存在一些限制。首先，许多现有研究主要关注单特征或单向风速数据，这限制了充分利用时间依赖性和特征间相关性的能力[7]。其次，双向时间建模及其与多特征输入的交互作用在风速预测任务中的影响尚未得到充分探索[41]。第三，大多数基于深度学习的模型依赖于手动调整的超参数，并缺乏自适应优化机制，使其性能对经验参数选择敏感[1]。这些限制表明需要一个能够同时利用多特征输入、双向时间依赖性和自适应参数优化的预测框架，以提高预测准确性和鲁棒性。

在本文中，提出了一种新的ZOA-BiTCN-attention模型，该模型利用优化算法ZOA来优化参数，双向卷积网络可以从多个方向捕获时间序列的重要特征，然后通过自注意力机制对总和进行加权，以预测影响风速的多特征模型。本研究的贡献可以总结如下：
(1) 多特征输入：引入了18个特征来预测风速数据。添加了BiTCN以提供数据的双向输入，从而从多个方向捕获时间序列的重要特征。
(2) 多尺度卷积：BiTCN通过堆叠不同尺度的多个卷积层来捕获不同层次的时间特征。这种多尺度卷积策略有助于模型更全面地理解时间序列中的不同频率和时间模式。(3) 递归堆叠：注意力机制使模型能够逐步提取和融合不同抽象层次的特征，从而更好地预测时间序列。(4) 参数优化：使用ZOA优化算法对BiTCN-注意力模型的学习率、卷积核大小和卷积核数量进行优化。本文的其余部分组织如下。第2节介绍了所提出的ZOA-BiTCN-Attention模型的整体架构和方法论。第3节介绍了实验设置，包括多特征数据集的描述、数据预处理程序、相关性分析以及主要实验结果。第4节对结果进行了深入讨论，包括消融研究、计算效率分析、不同气候区域的泛化评估以及对本研究局限性的讨论。最后，第5节总结了本文并讨论了未来工作的潜在方向。

**混合建模框架**
在本研究中，提出了一个结合了斑马优化算法（ZOA）、双向时间卷积网络（BiTCN）和自注意力机制的混合风速预测框架。该框架的整体架构如图1所示，其中ZOA被用作外部优化模块，以适应性地调整BiTCN-注意力模型的关键超参数。具体来说，BiTCN作为核心预测网络来建模多特征风速。

**数据集信息**
这四个数据集是巴西国家气象研究所某地区四个方向上的多特征风速数据集，用于验证所提出模型的预测能力。这四个数据集分别是：北部数据集（称为数据集1）和东北部数据集（称为数据集2），均收集于2006年8月16日至2006年10月30日；南部数据集（称为数据集3），收集于2000年10月14日至2000年12月28日；以及西南部数据集。

**消融实验**
为了进一步研究所提出框架中不同组件的贡献，通过逐步将BiTCN、自注意力机制和斑马优化算法（ZOA）集成到基础TCN模型中进行了消融实验。此外，通过比较所有数据集上的多个模型变体（包括仅具有双向时间输入的模型、仅具有自注意力的模型等），评估了每个改进模块对整个ZOA-BiTCN-ATT模型的贡献。

**结论与未来工作**
本研究的目的是寻找ZOA的最优超参数，以构建BiTCN-注意力模型，并将本文提出的模型与四种不同的预测模型（即CNN、GRU、LSTM和TCN）在四个多特征风速数据集上进行比较。通过实验分析，我们可以得出以下结论：与其他模型相比，BiTCN能够同时捕获序列数据中的前向和后向依赖关系。

**作者贡献声明**
刘文辉：撰写、审阅与编辑、软件开发。白玉龙：资源获取、形式分析、概念化。于庆和：项目管理、调查。王瑞：可视化。岳晓欣：撰写初稿、数据整理。宋琦：监督。

**利益冲突声明**
作者声明他们没有已知的可能影响本文工作的财务利益或个人关系。作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：无。

**致谢**
本研究得到了国家自然科学基金（NSFC）项目（项目编号：42371377）的资助。