《International Journal of Hydrogen Energy》：Performance degradation multi-step-ahead prediction of proton exchange membrane fuel cells integrating multi-feature based on Transformer neural network
编辑推荐：
质子交换膜燃料电池（PEMFC）寿命预测研究提出基于Transformer神经网络的融合方法，通过单特征/单步验证其跨采样间隔优势，结合CEEMDAN-K-means-VMD分解优化多特征输入，发现温度与流率对电池性能影响最大，并通过多步预测验证Transformer的迁移学习能力显著优于LSTM、GRU等模型。
吴学义|陈东方|王丹|王双|陈志强|易思武|胡松|华平壤|徐晓明
天津大学精密仪器与光电子工程学院，中国天津，300072
摘要
预测与健康管理（PHM）是提高质子交换膜燃料电池（PEMFC）耐久性的有效方法，而准确的寿命预测是PHM的必要前提。本文采用Transformer神经网络对PEMFC的寿命进行预测。首先，基于单特征输入和单步预测，Transformer神经网络在不同采样间隔下的预测性能表现出显著优势。然后，通过结合多种算法对Transformer神经网络进行协同优化，最终提出了CEEMDAN-Kmeans-VMD-Transformer融合数据驱动方法。详细研究了各种输入特征对预测性能的影响。结果从比例、加权总和比以及第一名和第二名的分析来看，温度和流速在确定PEMFC运行状态方面比其他因素更具敏感性。最后，对于多特征输入和多步预测，选择了敏感输入特征的最佳组合，并在三个数据集下进行了六种情况的验证。实验表明，Transformer神经网络的预测均方根误差（RMSE）比其他神经网络低1-5倍。值得注意的是，“微调”迁移学习方法使预测RMSE降低了1-3倍。本研究为PEMFC的多角度寿命预测提供了有效的参考依据。
引言
化石燃料储备的枯竭及其带来的环境压力正在加剧，开发和利用清洁可再生能源已成为解决这一困境的关键途径[1,2]。凭借零污染、可再生、高转换效率、快速启动和低温运行的优势，PEMFC已成为绿色能源供应技术的重要选择，并在军事装备、车载电源和移动电源等多种场景中得到广泛应用[3][4][5][6]。然而，由于催化层活性下降、质子交换膜变薄、水热管理不平衡等因素，PEMFC的输出电压和整体效率持续下降，导致其寿命有限且成本较高，这限制了其大规模推广[7]。延长PEMFC的耐久性被认为是降低成本的关键[8]。为此，通过挖掘燃料电池车辆的实时运行数据并提炼表征健康状态（SOH）的关键指标，实现了电堆的全面诊断、SOH的自适应诊断以及运行寿命（RUL）的提前预测[9][10][11][12]。提前评估寿命有助于优化性能、降低运营和维护成本并减少风险。美国能源部年度报告指出，商用燃料电池的降解率必须控制在10%以下[13]。
PEMFC系统涉及电化学、热力学、流体力学和机械动力学等多个学科，因此其降解趋势难以准确预测[14]。目前，PEMFC寿命预测工具主要分为三类：基于模型的方法、数据驱动方法和结合两者的混合方法[15,16]。
其中，基于模型的方法主要模拟PEMFC的降解机制，对数据要求较低，例如扩展卡尔曼滤波[17]和经验模型[18]。宋等人[19]提出了一种新的降解模型，通过将极化曲线与效率模型相结合，实现了燃料电池整个生命周期内的效率提升。裴等人[20]利用一阶动态框架分析当前的降解规律并提出了相应的寿命估算策略。李等人[21]研究了氢效率与燃料电池降解之间的相关性，并据此构建了降解模型。敖等人[22]将频域卡尔曼滤波和电压降解模型整合到基于模型的预测框架中，提高了预测的准确性和计算效率。然而，PEMFC具有多物理场耦合、跨尺度、多相共存和强非线性等特点[23]，这使得动态建模极为困难，建模方法难以实现高精度预测，只能描述降解的宏观趋势，局部细节仍未能充分捕捉。混合方法通过结合基于模型的方法和数据驱动方法，能更有效地量化预测不确定性，典型方法包括半经验衰退方程和无迹/自适应无迹卡尔曼滤波[24]。黄等人[25]首先基于电化学阻抗谱（EIS）映射律构建了等效电路并重新校准了参数以考虑电压恢复效应，然后提出了PSO-LSSVM结合神经网络来实现SOH的高精度估计；而洪等人[26]利用半经验模型在多种随机运行条件下生成电压样本，并以电压作为健康指标训练神经网络，再通过耐久性测试数据对模型进行微调和验证。尽管混合方法具有高精度，但其泛化能力仍受物理建模复杂性的限制[27]。
仅通过监测数据即可表征PEMFC的衰退轨迹，无需研究降解机制，这一优势使得数据驱动方法受到关注；其中，统计推断、机器学习和神经网络成为最常用的技术途径[28,29]。近年来，深度学习技术取得了显著进步，并被广泛应用于寿命预测领域[30,31]。循环神经网络（RNN）因其隐式记忆特性而天然适合建模时间序列数据；然而，当序列跨度增加时，梯度反向传播过程中常面临梯度消失或爆炸的问题，难以有效捕捉长期依赖关系。为了解决这些问题，基于传统RNN提出了几种先进架构，包括回声状态网络（ESN）[33]、长短期记忆（LSTM）神经网络[34]和门控循环单元（GRU）神经网络[35,36]。陈等人[37]利用双向LSTM神经网络构建了预测框架，并借助贝叶斯算法调整了网络超参数，进一步提高了燃料电池降解估计的准确性。Tabbi等人[38]将卷积神经网络（CNN）与双递归结构结合，结果表明卷积模块显著提升了递归模型的准确性，进一步降低了预测误差。孙等人[39]提出了改进的降解框架RCLMA，整合了残差卷积、LSTM和多头自注意力；通过使用真实世界数据完成了构建和验证，并探讨了输入/输出大小对准确性的影响。消融实验表明，残差模块捕捉了整体趋势，递归单元提取了时间依赖性，自注意力机制综合考虑了两者，从而协同提升了预测性能。
在过去三年中，得益于并行训练的优势，Transformer神经网络架构在序列建模领域迅速崛起，成为当前主流大型语言模型（LLM）的核心[40][41][42]。研究人员也开始将Transformer神经网络应用于电池寿命预测等数据序列问题[43,44]。然而，现有研究主要集中在利用Transformer神经网络预测PEMFC性能上。鉴于PEMFC降解预测存在明显不足——包括Transformer输出优化不足、输入输出数据多样性有限、模型优势验证不足以及预测与反应机制/运行因素之间的联系薄弱——本研究深入探讨了Transformer神经网络的应用。主要工作如下：
(1)本研究在稳态/动态条件和不同采样间隔下比较了Transformer与其他神经网络的性能，并探讨了平滑采样序列对单特征/单步预测准确性的影响。
(2)本研究提出了CEEMDAN-Kmeans-VMD-Transformer数据驱动方法用于多特征/单步预测，分析了多特征组合如何提升准确性，并考察了运行因素对降解预测的敏感性，与PEMFC机制相一致。
(3)本研究通过相关性分析选择了最佳输入特征，并通过三个数据集在最佳输入输出窗口长度下验证了Transformer的鲁棒性和迁移学习能力，用于多特征/多步预测。
实验数据
为了增强数据的说服力，本实验使用了三个数据集，其中两个来自FCLAB组织发起的IEEE PHM 2014数据挑战赛的测试数据[45]。系统测试台如图1(a)所示，对两个相同的燃料电池堆栈（FC1和FC2）进行耐久性测试，每个堆栈包含五个有效面积为100 cm2的单个电池。通过施加恒定和可变条件分别进行了正常老化（FC1）和加速老化（FC2）测试。
Transformer神经网络卓越预测性能的证明
为了证明Transformer神经网络的预测效果优于其他方法，单采样间隔的数据集无法体现其普遍性，因此使用了FC1和FC2两组数据，在0.5分钟、1分钟、2分钟……512分钟的采样间隔下进行了大量实验，将预测结果与常用的LSTM和GRU神经网络进行了比较，结果如图3(a)–(d)所示。
结论
本研究系统地研究了基于Transformer神经网络的PEMFC多步降解预测性能，提出了三项核心创新，解决了现有研究中的关键问题。首先，提出了一种新的CEEMDAN-Kmeans-VMD-Transformer融合数据驱动框架，结合信号分解、聚类和深度学习，从PEMFC运行数据中精确提取多尺度特征，克服了现有方法的局限性。
CRediT作者贡献声明
吴学义：撰写——原始草稿、可视化、验证、软件、方法论、概念化。陈东方：撰写——审阅与编辑、方法论、形式分析、数据整理、概念化。王丹：软件、研究、形式分析。王双：软件、方法论、研究。陈志强：软件、数据整理、概念化。易思武：软件、研究。胡松：数据整理、概念化。华平壤：可视化、形式分析。
利益冲突声明
作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究工作。
致谢
本工作得到了国家自然科学基金（编号：52202446）、湖北省重大科技项目（编号：2023BAB147）、 CAST青年精英科学家资助计划（编号：2022QNRC001）、BAST青年精英科学家资助计划（编号：BYESS2023050）以及中央高校基本科研业务费的财政支持。
