一种考虑不确定性的联邦平均方法，用于在保护隐私的前提下，协作预测滚动元件轴承的剩余使用寿命

《Reliability Engineering & System Safety》：Uncertainty aware federated averaging approach for privacy secured collaborative remaining useful life prediction of rolling element bearing

提出基于蒙特卡洛Dropout的联邦学习框架，通过不确定性分解和动态学习率调整解决轴承剩余寿命预测中的数据稀缺与隐私问题，实验表明其预测精度和鲁棒性优于现有方法。

　　

作者名单：Wasib Ul Navid、Khandaker Noman、Khandaker Ashfak、Yongbo Li、Zhe Su、Anayet Ullah Patwari

中国西安西北工业大学民航学院

摘要

在滚动元件轴承的预测性维护中，集中式剩余使用寿命（RUL）预测已经展示了良好的效果。然而，在工业环境中，用于轴承RUL预测的集中式学习范式面临诸多挑战。首先，从单一客户端获取足够的生命周期退化数据非常困难。其次，与版权相关的问题导致用户数据持续隔离。第三，现有方法往往忽略了将不确定性作为反馈来增强预测学习，从而无法实现可靠的RUL估计。为了解决这些挑战，本文提出了一种基于联邦学习框架的不确定性感知联邦平均（UAFA）方法。在该框架中，每个本地轴承客户端使用基于蒙特卡洛dropout（MCD）的长短期记忆网络（LSTM）进行随机梯度下降（SGD）训练。在本地训练过程中，会使用动态调制因子来调整不确定性感知的学习率，并在训练完成后将不确定性成分发送到中央服务器。最后，使用UAFA聚合客户端模型，并在多个轴承数据集上进行评估。实验结果表明，基于UAFA的框架比现有最先进方法（SOTA）具有更高的准确性和更低的不确定性。此外，UAFA在多种特征类型和客户端数量下均表现出色，证明了其强大的鲁棒性和泛化能力。

引言

轴承是几乎所有关键机械系统中的关键部件，能够实现机器部件之间的平稳旋转运动。它们广泛应用于从汽车发动机到风力涡轮机、飞机发动机等各种领域。轴承的正常运行确保了上述系统的可靠性和效率[1],[2]。然而，如果维护不当，轴承容易发生各种故障，导致严重的停机时间、运营成本，甚至对机器造成灾难性损坏[3]。因此，预测轴承的健康状况对于维持工业系统的可靠性至关重要[4],[5]。 轴承预测的一个关键方面是预测其剩余使用寿命（RUL），即轴承在失效前的预计运行时间。准确的RUL预测至关重要，因为它可以实现主动维护，减少计划外停机时间，并通过根据预测的寿命结束时间来优化资源的使用[6],[7]。然而，高效的轴承RUL预测常常受到两个主要挑战的阻碍： (1) 在工业应用中，轴承在故障发生时需要尽快进行维护。因此，用于RUL预测的深度学习模型缺乏故障阶段的真实轴承数据，这可能导致过拟合和不可靠的预测结果，从而降低RUL估计模型的整体有效性[8]。 (2) 在实际应用中，轴承RUL的预测受到退化模型和数据本身的不确定性的影响。因此，研究结合不确定性的退化模型对于评估所提出框架的性能和可靠性具有重要意义。 已经有多种方法通过数据增强来解决数据稀缺的问题[9]。通过提出数据增强技术（如动态时间规整（DTW）[10]、基于DTW距离的加权重心平均[11]以及结合物理模型的数据驱动方法[12],[13]，避免了对大量标记RUL数据的需求。生成能够有效反映真实世界退化模式的增强数据对于独立的数据增强技术来说是一个难题。作为数据增强的替代方案，迁移学习利用之前在类似任务上训练的模型来加速学习，并减少对大型数据集的依赖。TL-LSTM（迁移学习与长短期记忆结合）[14]、收缩去噪自编码器（CDAE）结合迁移组件分析（TCA）[15]、高斯混合模型（GMM）[16]等迁移学习方法已被用来弥补数据增强技术的不足。但迁移学习方法依赖于源数据和目标数据之间的相似性，并且无法充分反映实时监控情况。最近，基于数字孪生的方法（如CLSTM集成数字孪生模型[17]、两阶段更新的数字孪生与DC-DGCN[18]、基于非线性漂移布朗运动的模型[19]、catboost增强的数字孪生[20]在性能上优于迁移学习方法。此外，基于GAN的方法（如cGAN[21]、cycleGAN[22]、WGAN[23]和TSGAN[24]）通过生成真实的退化模式、实现跨域适应性和在少量真实世界故障数据的情况下增强RUL模型而表现出色。然而，所有上述方法都缺乏在不同运行条件下的同时训练和测试支持，并且需要数据共享，这可能会引发轴承数据相关方的隐私和安全问题。 为了克服轴承数据稀缺和隐私问题，联邦学习（FL）通过允许多个组织进行去中心化模型训练同时保持数据本地化，提供了一种可行的解决方案[25],[26],[27]。图1展示了带有不确定性量化的联邦学习（FL）框架，展示了在不共享原始数据的情况下协作训练多个轴承数据的过程。 然而，尽管联邦学习领域取得了进展，但在基于FL的轴承RUL预测中一个关键但被忽视的方面是将不确定性量化整合到一个统一框架中，以建立一个基于反馈的框架来改进RUL性能，因为不确定性量化（如由于模型知识有限和近似引起的认知不确定性以及数据中的固有变异性和噪声引起的随机不确定性）通常被视为一个独立的问题，尽管它对于评估RUL预测模型至关重要[28]。

术语表

基于上述讨论，本文的主要贡献包括： i) 理论贡献： 1. 开发了一种基于蒙特卡洛dropout（MCD）的随机长短期记忆（LSTM）网络，用于在RUL预测过程中同时估计认知（模型相关）和随机（数据相关）不确定性。与传统仅量化一种不确定性的dropout或贝叶斯LSTM方法不同，它能够在单一深度学习架构内实现不确定性分解。 2. UAFA的设计使得预测不确定性较高的客户端对全局模型的贡献较小，从而实现稳健的收敛和更高的全局可靠性。因此，在UAFA框架下，通过不确定性模块更新贡献的同时细化RUL，使得所提出的方法更加可靠。 ii) 实践贡献： 3. 通过在多个失效测试轴承数据集上部署UAFA框架，实现了保护隐私的协作学习，其中每个失效测试轴承被视为一个独立的联邦客户端。将不确定性反馈整合到全局聚合过程中，确保即使在更恶劣的运行条件下，RUL预测也能保持可靠性。协作学习和不确定性感知细化的结合确保了在实际工业场景中提供可扩展且保护隐私的预测解决方案。

本文的其余部分遵循这种格式。第2节讨论了相关文献，第3节详细描述了所提出的方法，第4节使用轴承数据集验证了所提出方法的实验效果，第5节给出了最终结论。

联邦学习中的工程应用

联邦学习（FL）最近在工程领域（如故障诊断和状态监测）中受到了关注，这得益于隐私问题和分布式智能的需求。现有的基于FL的框架已被应用于旋转机械故障分类（使用动态验证[29]、领域适应[30]和异步更新[31]）。协作模型包括分布式CNN[32]和自适应联邦变体（AFL [33]、SAFL [34]、AFL-SA [35]）

不确定性感知长短期记忆网络

LSTM是一种专门的序列RNN架构，旨在解决梯度消失和爆炸等问题[51]。它由输入层、循环层和输出层组成。LSTM的基本架构如图2所示。LSTM包含门控机制，包括输入门i_t、遗忘门f_t、输出门o_t和调制门g_t，这些门控制信息流和记忆单元的更新，从而改进序列建模。

实验验证

第4节介绍了UAFA方法的实验结果和分析。首先介绍了实验设置，然后讨论了所提出方法的实验设置和评估标准，最后使用各种轴承数据集和比较技术检验了该方法的有效性。

结论

针对认知不确定性和随机不确定性在隐私保护下的协作剩余使用寿命预测中的局限性，本研究提出了一种新的不确定性感知联邦平均（UAFA）框架，以克服有限的工业轴承退化数据的影响。在实施的第一阶段，UAFA通过利用蒙特卡洛dropout（MCD）增强的LSTM将不确定性估计直接整合到本地训练和全局聚合过程中。

未引用的参考文献

算法1

作者贡献声明

Wasib Ul Navid：概念化、方法论、撰写——原始草稿。

Khandaker Noman：监督、资源、软件、资金获取。

Khandaker Ashfak：数据整理、验证、撰写——审阅与编辑。

Yongbo Li：监督、项目管理、资金获取。

Zhe Su：形式分析、资源。

Anayet Ullah Patwari：形式分析。

竞争利益声明

作者声明以下可能被视为潜在竞争利益的财务利益/个人关系： Yongbo Li报告称获得了中国国家自然科学基金的支持。Khandaker Noman报告称获得了中国国家自然科学基金和西北工业大学的支持。如果还有其他作者，他们声明没有已知的竞争利益或个人关系。