《Chemical Engineering Research and Design》：Remaining useful life prediction using sequential metaheuristic optimization of stacked-LSTM hyperparameters
编辑推荐：
预测性维护（PdM）通过优化Stacked-LSTM超参数提升机器寿命预测精度，采用TLBO与PSO分阶段优化策略，先由TLBO探索参数空间，再用PSO精细调整，在NASA数据集上达到98.9%准确率及100%分类精确度。
作者：Atinkut Atinafu Yilma、Chao-Lung Yang、Bereket Haile Woldegiorgis
台湾国立科技大学工业管理系，台湾台北市大安区基隆路43段4号，邮编106
摘要
本研究介绍了一种数据驱动的预测性维护（PdM）方法，该方法通过顺序优化堆叠长短期记忆（S-LSTM）的超参数来提高运行效率并延长机器寿命。该技术采用了一种双阶段优化策略，结合了基于教学学习的优化（TLBO）和粒子群优化（PSO）。优化过程首先从TLBO开始，TLBO能够高效地探索超参数空间，识别出有前景的区域，为后续阶段奠定坚实的基础。然后，过程过渡到PSO阶段，TLBO的输出作为PSO进一步优化的初始参数。PSO阶段利用TLBO识别出的有前景的区域，通过协作和竞争的过程优化解决方案，使S-LSTM模型能够避免局部最优解，并更可靠地收敛到接近最优解的状态。这种方法提高了预测准确性、可靠性和可扩展性，适用于不同规模和复杂性的数据集，有助于提前检测和预测未来的故障，从而实现及时的预防措施和优化维护策略。使用NASA C-MAPSS数据集验证了所提出方法的性能，在二分类和多分类任务中达到了98.9%的准确率和100%的精确率，优于现有模型。
引言
在当今的数据驱动制造时代，人工智能（AI）和大数据分析的应用正在改变日常生活，并提高所有行业的工作效率。AI和物联网（IoT）的进步正在不同领域改变工作流程（Ayvaz和Alpay，2021）。这些技术对于通过提高工作效率和性能来增强企业的竞争力至关重要（Furman和Seamans，2019）。例如，实时数据流、分析和可视化改进了数据处理和决策制定。这些能力使得能够持续监控运营过程和机器状态，从而提高系统可靠性和运行效率（He和Wang，2018；Yang等人，2023；Yang等人，2024）。然而，机器故障可能导致公司因停机时间延长、维修成本以及不符合质量标准的产品返工而遭受经济损失（Sharma等人，2022）。
预测性维护（PdM）对于防止意外机器故障和降低相关成本至关重要（Sharma等人，2022），它支持可持续的生产过程（Lee等人，2014）。通过监测机器状态并预测其剩余使用寿命，PdM可以延长机器寿命（Shcherbakov等人，2019）。这种主动方法有助于评估未来故障的可能性，从而减少停机时间（Lee等人，2017）。PdM的一个功能是预测剩余使用寿命（RUL）（Huang等人，2017），这是一种在故障发生前预测机器剩余可用功能的方法（Elsheikh等人，2019）。更高的RUL预测准确性可以提高安全性和可靠性，通过减少停机时间和相关维护成本来延长机器运行时间。
近年来，使用深度学习（DL）或机器学习（ML）模型的数据驱动PdM在基于历史数据评估机器状态和预测潜在故障方面发挥了重要作用（Sharma等人，2022）。ML和DL模型首先使用训练数据集进行训练，然后使用测试和验证数据集验证模型性能。例如，Ayvaz和Alpay（2021）开发了一个基于ML的PdM模型，用于在故障发生前预测生产线中的潜在故障，并取得了有希望的结果。在另一项研究中，时间卷积网络（TCN）被用于数据驱动的PdM应用，提供了出色的预测性能（Sharma等人，2022）。长短期记忆（LSTM）被用来预测航空发动机的状态，研究结果表明所提出的模型具有更高的预测准确性（Xiong等人，2021）。使用LSTM预测了RUL，展示了该模型的优越性（Lin等人，2022；Yuan等人，2016）。然而，这些研究仅展示了ML和DL模型在预测机器退化和RUL方面的性能，它们仍需要改进以提高预测准确性。
传统的LSTM参数调整方法存在显著局限性，由于对超参数空间的探索不足以及难以处理复杂的LSTM超参数配置，导致模型性能不佳（Chiroma等人，2020）。这些传统方法通常会导致训练时间增加、计算需求提高、过拟合风险增加以及泛化能力有限（Yang等人，2023）。此外，它们缺乏可扩展性，在参数调整过程中经常难以平衡探索和利用。它们也可能无法有效结合领域知识进行特定任务的定制（Aljamel等人，2018；Cummins等人，2017）。这些缺点突显了开发高效和高性能LSTM模型的研究空白。需要强调的是，最佳超参数值本质上是特定于数据集和任务的；尽管如此，一个有效的优化框架应该能够通过优化相应的验证目标适用于不同类型的PdM问题（回归和分类任务）。
为了克服传统DL调整方法的局限性，研究人员提出了一种创新的顺序优化策略，结合了基于教学学习的优化（TLBO）和粒子群优化（PSO）来微调堆叠LSTM（S-LSTM）网络的超参数。S-LSTM提供了一个更深的架构框架，能够更有效地捕获序列数据的抽象表示（Sahar和Han，2018）。它以其准确性、精确性和效率著称，每层需要的神经元较少，训练时间也较短（Zhang等人，2020）。然而，优化S-LSTM超参数存在挑战，特别是随着神经元数量的增加，超参数呈指数级增长，而随着输入维度的扩大，超参数呈线性增长。传统的优化启发式方法，如随机梯度下降（SGD）（Robbins和Monro，1951）和自适应矩算法（Adam）（Kingma和Ba，2014），在S-LSTM网络深度增加时往往不够适用，经常陷入局部最优解，难以识别最佳参数配置。随着层数的增加和数据集规模的扩大，这个问题更加严重。
通过顺序使用TLBO和PSO，所提出的策略超越了局部最优解，发现了能够提高S-LSTM性能的超参数，尤其是在需要大量训练数据的复杂网络中。最初，TLBO高效地探索S-LSTM超参数空间，找到有前景的区域。然后，其输出指导PSO阶段，PSO阶段对这些区域进行彻底的探索，通过协作和竞争的方式优化解决方案。这种方法平衡了探索和利用，减少了达到最佳配置所需的评估次数。它有望改进PdM模型并推动机器学习研究的发展。所提出的方法不仅简化了S-LSTM的调整过程，还提高了S-LSTM的性能，展示了系统参数优化在PdM中的深远影响。该方法在多个方面都有贡献：
- 1.
本研究提出了一种创新的PdM模型，使用顺序TLBO和PSO来优化S-LSTM超参数。TLBO的广泛搜索有助于为PSO设置有效的初始参数，从而优化预测性能，解决了PdM中的关键挑战。
- 2.
TLBO和PSO的顺序使用实现了对复杂S-LSTM超参数空间的自适应优化，利用TLBO的广泛搜索和PSO的深入探索，增强了模型捕捉复杂设备磨损模式的能力，显著提高了预测性维护的预测准确性和可靠性。
- 3.
该方法通过TLBO和PSO自动化超参数调整，提高了PdM模型的性能，减少了训练损失，增强了模型的泛化能力，减少了停机时间，并简化了维护操作。
- 4.
通过在工业维护环境中的案例研究验证了模型的效率，证实了其提高运行效率和支持有效维护决策的能力。
本文的其余部分结构如下：第2节介绍相关工作，第3节介绍方法论。结果和结论分别在第4节“结果与分析”和第5节“结论”中报告。
方法论片段
ML和DL在预测性维护中的应用
ML、DL、大数据、AI和IoT技术的快速发展显著增强了各个领域的研究和实际应用，包括PdM、生产计划和股市预测（Ayvaz和Alpay，2021）。这些进步引起了众多研究人员的兴趣，促使他们将这些技术应用于确定性（Carvalho等人，2019）或随机性（Cui和Wang，2024）方法下的复杂PdM挑战中。
方法论
本研究开发了一个先进的顺序优化框架，结合了TLBO和PSO的优势，用于优化数据驱动PdM任务的S-LSTM网络超参数。该方法不同于传统的单一算法方法，它利用两种互补的算法，在不同的优化阶段发挥关键作用。虽然提出了使用TLBO和PSO的框架，但根据性能需求，也可以应用其他元启发式优化器。
结果与分析
这部分基于实验结果验证了所提出模型的性能。首先，将预测结果与文献中的现有最先进方法进行比较，以评估它们的预测能力。其次，展示了所提出模型的分类性能以进行进一步分析。
结论
预测性维护（PdM）对于减少机器停机时间和提高系统可用性至关重要。PdM中的一个关键挑战是开发出能够准确预测机器健康状况的高性能模型。在这项研究中，提出了一种基于S-LSTM的PdM框架，其中超参数使用TLBO和PSO进行顺序优化，以提高预测性能。该框架在NASA的多变量涡轮风扇发动机退化数据上进行了评估。
CRediT作者贡献声明
Atinkut Atinafu Yilma：撰写——原始草稿、方法论、形式分析、概念化。Chao-Lung Yang：验证、监督、资源管理、方法论、调查、概念化。Bereket Haile Woldegiorgis：撰写——审稿与编辑、可视化、调查。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
我们感谢台湾地区科技部（合同编号：113-2221-E-011-130-MY2）的财政支持，以及台湾智能制造创新中心（IMIC）和台湾国立科技大学（NTUST）的支持，后者是台湾教育部高等教育萌芽计划中的特色领域研究中心（自2023年起）。
