编辑推荐:
Xiaoxi Hu等提出Federated Enhanced Iterative Learning(FedEIL)框架,通过迭代联邦通信和自适应权重融合算法解决工业故障诊断中的非独立同分布数据与本地缺失标签问题,在保护隐私前提下提升跨设备诊断精度。
Xiaoxi Hu|Hengjun Wang|Yuhan Huang|Junyi Li|Huan Wang|Yiming He
摘要
在工业故障诊断中,隐私法规和商业机密性阻碍了跨客户的数据共享,导致不同企业之间存在分散的数据孤岛。联邦学习(FL)提供了一种有前景的解决方案,它可以在不交换原始数据的情况下实现协作模型训练,从而克服了数据不可访问性的根本障碍。然而,实际部署面临两个关键挑战:(i)非独立同分布(non-IID)的特征分布和(ii)客户端本地缺失标签的故障模式。这些挑战限制了传统并行联邦聚合的有效性,因此需要一种更加交互式的客户端间通信方式。为此,我们提出了一个联邦增强迭代学习(FedEIL)框架,用于跨机器故障诊断,该框架采用了一种迭代联邦通信方案,增强了信息交换,并减轻了由非独立同分布引起的特征偏移。此外,我们提出了一种渐进加权融合(PWF)算法,该算法能够自适应地调整聚合权重,以增强特征提取和全局泛化能力,从而在客户端本地缺失标签的故障类型下提高识别性能。在多个工业数据集上的实验表明,所提出的框架在保持数据隐私的同时,实现了更高的跨机器准确率,优于现有的先进FL方法,证明了其在物联网(IoT)场景中的优越性。
引言
在现代工业物联网(IoT)中,不同企业、工厂和边缘设备产生了大量的故障相关数据[1]。然而,由于严格的隐私法规、专有所有权和商业机密性,这些数据无法在组织间直接共享[2]。这种企业间的数据孤岛迫使大多数企业仅使用自己的本地资源进行模型训练,从而降低了模型性能[3]。
联邦学习(FL)通过允许在不交换原始数据的情况下进行协作模型训练,为解决数据孤岛问题提供了有前景的解决方案[4]、[5]、[6]。通过FL,每个参与者可以共同构建一个全局诊断模型,捕捉更全面的故障模式,同时确保数据隐私。例如,Mehta等人[7]设计了一个用于旋转机械复合故障诊断的FL框架。He等人[8]提出了一个用于机器级电机的联邦跨机器诊断框架。Becker等人[9]展示了FL在边缘端基于自动编码器的故障诊断中的可行性。Zhang等人[10]引入了一种用于联邦领域泛化的调整策略。Wang等人[11]在云-边缘协作下结合了知识和无偏语义属性,以减轻统计偏差。Hu等人[12]将监督对比学习纳入联邦过程,以更好地对齐本地和全局表示。Li等人[13]提出了一种基于模型和实例级别共识的联邦学习方案,以提高模型性能,并在实验室轴承数据集上进行了验证。Yu等人[14]提出了一个基于卷积自动编码器的联邦框架,用于轴承故障诊断,旨在减轻客户端与云聚合器之间的传输负担。这些研究为在确保隐私和安全性的同时应用FL进行工业故障诊断提供了宝贵的见解。
然而,在实际的工业应用中部署现有的FL方法仍然面临两个持续存在的挑战:
1.非独立同分布(non-IID)的特征分布:不同企业之间的设备类型、操作条件和控制逻辑的不可避免差异导致了数据分布的不一致性[15],从而降低了诊断模型的性能。
2.异构性偏差。在现实世界的工业部署中,参与联邦故障诊断的客户端在注释完整性方面往往存在不一致性:一些客户端具有相对全面的故障类别覆盖范围,而资源受限的客户端缺乏某些类别的数据。这种异构性偏差使得全局聚合偏向于具有更完整标签覆盖范围的客户端,从而削弱了具有缺失类别的客户端的泛化能力,最终降低了联邦学习在多种工业故障类型下的诊断性能。
为了克服这些挑战,本文提出了一种新的联邦增强迭代学习(FedEIL)框架,用于跨机器故障诊断,该框架采用了一种迭代联邦通信模式,而不是传统的并行联邦聚合。这种架构允许在不同的客户端之间流动本地权重,以增强信息交换并减轻由非独立同分布引起的特征偏移。为了应对异构性偏差,我们提出了一种渐进加权融合(PWF)算法,通过自适应地调整参与联邦聚合的模型的权重来增强特征提取和全局泛化能力。总体而言,在联邦训练的早期阶段,性能较弱的客户端的模型权重会被增强,以鼓励它们的数据特征为共同特征做出贡献,这被称为热身阶段。随着训练周期的增加,具有更高诊断性能和优化一致性的模型的权重逐渐增加,这被称为过渡阶段。在多个工业数据集上的实验表明,所提出的框架在保持数据隐私的同时,实现了更高的跨机器准确率,为多企业协作下的跨机器工业故障诊断提供了实用且有效的技术途径。
本文的主要创新点如下:
1.提出了一种新的FedEIL框架,用于跨机器故障诊断,该框架考虑了客户端展示非独立同分布数据分布和异构性偏差的更现实的协作场景。
2.设计了一种PWF算法,用于在联邦训练下自适应控制模型权重聚合,该算法通过减少梯度冲突和整合新兴故障信息,同时减轻了跨客户分布差异的负面影响,并提高了在客户端本地缺失标签条件下识别故障的能力。
3.广泛的实验表明,所提出的框架在联邦环境中实现了更高的跨机器诊断准确率,有效处理了非独立同分布数据分布和异构性偏差场景。
本文的结构如下:第2节描述了所提出的FedEIL框架。第3节介绍了数据集和评估指标。第4节介绍了实验设置、实验结果和分析。最后,第5节总结了本文并概述了未来的研究方向。
章节片段
提出的FedEIL框架
为了解决非独立同分布数据分布和异构性偏差的挑战,我们提出了一个基于FedEIL的诊断框架,该框架能够在保持数据隐私的同时实现知识的自适应传播。本节介绍了该框架的设计动机和实现细节。然后,介绍了所提出的FedEIL框架和PWF算法的详细信息。
数据集描述
为了模拟跨异构工业环境的联邦故障诊断并评估所提出的FedEIL框架,我们使用了三个不同的真实世界振动信号数据集来构建了三个非独立同分布的客户端。具体来说,我们采用了CWRU [16]、SEU [17]、[18] 和JNU [19] 数据集,每个数据集代表一个具有独特机器类型、传感器布局和故障特征的客户端。
CWRU数据集由凯斯西储大学收集,其中包含了
实验设置
实验是在一个配备了Linux操作系统(内核版本:3.10.0-1160.90.1.el7.x86_64)的高性能计算平台上进行的。硬件配置包括一个运行在2.10 GHz的Intel(R) Xeon(R) Gold 6230R CPU、一个NVIDIA A100 GPU和251 GB的系统内存。软件环境包括Python 3.9.21和PyTorch 2.4.1+cu124。
实验任务设置
为了评估所提出的FedEIL框架在客户端本地缺失标签故障场景下的泛化能力,我们
结论
本研究提出了一个基于FedEIL的故障诊断框架,专门用于跨机器场景,重点关注非独立同分布数据分布和异构性偏差这两个关键挑战。通过在FedEIL中引入迭代联邦机制,以及一个自适应的热身阶段和一个一致性感知阶段,该框架有效地解决了分布偏移问题,并增强了模型检测新故障模式的能力。在三个真实世界的轴承数据集上的广泛实验表明
CRediT作者贡献声明
Xiaoxi Hu:撰写 – 审稿与编辑,撰写 – 原稿,资源,方法论,调查。Hengjun Wang:撰写 – 原稿,可视化,软件,方法论,调查。Yuhan Huang:撰写 – 审稿与编辑,监督。Junyi Li:可视化。Huan Wang:验证,监督。Yiming He:撰写 – 审稿与编辑,监督,方法论。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
本研究得到了广西科学技术重大计划(Guike AB22035008)的支持。
Xiaoxi Hu在中国北京交通大学获得了交通信息工程与控制专业的博士学位。他目前是清华大学车辆与移动学院的博士后研究员。他是多个著名期刊的审稿人,包括TITS、TMECH、TSMC、TTE、TII(审阅了320篇TIM论文)、ISJ、MSSP、AEI、IF、RESS、EAAI、ESWA、MEA和MST。他还是IEEE国际智能会议的AE