无源数据域适应用于跨域剩余使用寿命预测：一种分布式联邦学习的视角

《Reliability Engineering & System Safety》：Source-free domain adaptation for cross-domain remaining useful life prediction: A distributed federated learning perspective

剩余使用寿命预测中，针对跨域数据分布偏移与隐私保护难题，提出差分注意力图卷积神经网络（DAGCN）与两阶段决策边界调整的联邦学习框架。通过图结构建模设备退化数据的空间依赖性，利用注意力机制聚焦关键退化特征，结合动态权重聚合策略优化分布式训练效果，有效缓解过拟合并提升跨域泛化能力，实验验证了NASA航空发动机数据集上的预测精度优势。

　　

Jiusi Zhang | Chunxiao Wang | Quan Qian | Shen Yin

中国电子科技大学自动化工程学院，成都，中国

摘要

随着工业设备复杂性的不断增加，高精度地确定剩余使用寿命（RUL）对于维护复杂的工业系统具有重要意义。在没有源域数据的情况下开发跨域预测方法需要深入研究，因为边缘设备的退化模式存在固有的分布差异，同时还需要保护数据安全协议。此外，卷积神经网络（CNN）和长短期记忆网络（LSTM）在处理结构复杂的依赖数据时表现不佳。因此，本文提出了一种基于图卷积神经网络的分布式RUL预测方法。具体来说，本文设计了一种差分注意力图卷积神经网络，可以专注于退化数据中的关键区域。此外，考虑到退化数据的隐私和安全问题，本文设计了一种两阶段决策边界调整方法，以实现跨域条件下的无源RUL预测。在此基础上，研究引入了一种联邦共识机制，该机制与边缘计算环境中的分布式训练动态相协调，可以有效减少过拟合并提高泛化能力。在NASA公开发布的飞机发动机退化数据集上的实验验证证实了所提出方法的有效性。

引言

现代能源设备、航空航天和智能制造等复杂系统的特点是高度耦合、强烈的时间变化性和跨尺度协作[1]、[2]、[3]、[4]。传统的基于点的维护模型无法支持全面的安全性和可靠性维护[5]、[6]、[7]。随着传感、控制和信息基础设施的深度融合，运维正在从故障警报发展为预测和决策的集成闭环[8]、[9]、[10]。在这种背景下，工业资产中自动化组件的日益集成使得可靠的剩余使用寿命（RUL）预测变得必不可少，这不仅增强了故障预防能力，还为复杂生产系统的成本效益维护提供了支持[11]、[12]、[13]。因此，RUL对于包括航空、发电和先进生产系统在内的关键工业领域至关重要[14]、[15]、[16]、[17]。进行RUL预测的研究不仅对提高设备管理水平和维护效率有深远影响，还为实现工业智能和可持续发展提供了重要支持[18]、[19]、[20]。

基于大量历史数据，数据驱动的RUL预测方法采用数据挖掘技术，利用通过监控设备收集的丰富数据来分析性能趋势，从而预测系统的RUL[21]、[22]、[23]。值得注意的是，包括卷积神经网络（CNN）和长短期记忆网络（LSTM）在内的方法通过提取数据特征来提升RUL预测性能。Zhu等人提出了一种对比双向LSTM方法，该方法通过设计序列奇偶性分解从多个角度构建退化数据，以提升RUL预测性能[24]。Ren等人引入了一种具有动态时间长度的Transformer网络，能够自适应学习不同长度的序列表示，用于RUL预测[25]。值得一提的是，CNN擅长处理具有局部空间结构的数据，如图像；LSTM则擅长处理序列化数据。然而，这些方法在处理复杂不规则数据的依赖性方面存在不足。作为深度学习架构，图神经网络（GNN）能够处理基于图的数据，并有效揭示隐藏的非欧几里得模式。为了提高RUL预测的准确性，Zhou等人开发了一种多视图时空图注意力网络，能够量化预测不确定性[26]。

值得注意的是，在工程实践中，工业设备通常分布在不同的地理位置，这在数据收集和集中处理方面存在明显限制[27]。此外，设备数据可能涉及工厂或企业的核心业务和机密信息，因此必须严格保护隐私[28]。这种联邦学习和分布式计算的结合产生了分布式联邦学习（DFL）这一及时的解决方案。每个工厂或企业被视为联邦的客户端，因此DFL在每个客户端上进行本地模型训练。此外，每个客户的模型参数被聚合起来，以避免集中式数据传输，从而确保数据隐私和安全。在这种意义上，DFL能够有效利用分布式设备数据，提高模型的泛化能力和预测准确性[29]。最近的研究展示了一些使用DFL框架进行RUL预测的方法。Guo等人开发了一个结合卷积自编码器的联邦学习框架，该框架由云和边缘设备协同训练，以解决计算能力不足的问题[30]。Kamei等人设计了一种基于Transformer和LSTM网络的DFL架构，解决了传统集中式学习面临的挑战[31]。Chen等人以轴承为研究对象，致力于解决数据隐私和过参数化问题，建立了一个基于DFL的RUL预测框架，并结合了泰勒展开剪枝技术[32]。

不同工厂的运行环境、故障模式存在显著差异[33]、[34]。这种领域漂移现象使得现有的同一领域RUL预测模型难以直接应用于其他领域[35]、[36]。因此，研究跨域RUL预测技术对于实现领域间的知识迁移和交流至关重要，以便适用于不同类型的工业场景[37]、[38]。目前，一些研究人员已经开展了相关工作。Chen等人提出了一种基于迁移回归网络的自适应校准方法，可以充分考虑目标领域的共享和私有特征，从而实现准确的跨域RUL预测[39]。值得注意的是，在分布式联邦中，每个客户端代表的工厂或企业设备在运行过程中会受到领域漂移的影响[40]。

当前的基于DFL的RUL预测方法很少考虑不同客户端数据分布之间的领域漂移现象。此外，大多数现有的传统领域适应方法需要对源数据和目标数据进行联合训练（图1（a））。这种联合训练会导致数据隐私泄露。因此，如何实现无源领域适应（SFDA）（图1（b）需要深入研究。SFDA方法只需要一个训练有素的源模型即可改进目标领域的适应能力。前面的讨论突出了本工作的核心研究动机：

•

传统的CNN和LSTM擅长处理局部结构化数据。这些方法在处理结构复杂的依赖数据时表现不佳。通过有效的GNN实现来应对这些挑战需要深入的方法学研究[41]、[42]、[43]。

•

工业设备通常分布在不同的地理位置，这在保护数据隐私方面存在显著挑战。从分布式联邦的角度研究数据隐私保护下的RUL预测问题具有重要意义[40]、[44]。

•

大多数现有的DFL框架中的RUL预测方法未能考虑跨客户端数据特征的领域差异。此外，如何更深入地进行基于SFDA的RUL预测还需要进一步研究[30]、[31]、[32]。

为了解决这些挑战，本文在DFL架构中引入了一种新的SFDA辅助的GNN方法，用于跨域RUL预测。本研究的主要贡献包括：

•

本文提出了一种差分注意力图卷积网络（DAGCN）架构，专门用于从设备退化模式中提取潜在的非欧几里得特征，并借助注意力机制关注退化数据中的关键区域。

•

为了解决联邦退化数据中的隐私约束领域漂移问题，本文提出了一种双阶段决策边界适应策略，以实现跨域RUL预测的SFDA。通过从源预训练初始化开始，交替进行差异最大化和小化，仅使用未标记的目标数据来校准边界，而无需访问任何源样本。

•

扩展SFDA原理，本文开发了一种具有 consistency-aware 聚合方法的分布式联邦学习策略。具体来说，设计了一种动态加权机制，对漂移或不稳定的客户端进行降权，以减轻对个别客户的负面影响，从而提高联邦环境中跨域RUL预测的鲁棒性和准确性。

部分摘录

问题表述

本文研究了DFL环境中无源领域适应的跨域RUL预测问题。源域数据 D_S 可表示为 $D_S=\left\{(x_i^S,y_i^S)|i=1,2,...,N_S\right\}$, $x_i^S$ 和 $y_i^S$ 分别表示第 i 个源域样本的特征向量和相应的RUL标签，N_S 是源域样本的数量。目标域数据 D_T 可表示为 $D_T=\left\{x_j^T|j=1,2,...,N_T\right\}$, 其中 $x_j^T$ 表示第 j 个目标域样本的特征向量，N_T 表示

差分注意力图卷积网络

图卷积网络（GCN）旨在处理基于图的数据结构，能够很好地挖掘退化数据中隐藏的非欧几里得特征。与适用于规则数据的传统神经网络（如CNN和LSTM）相比，GCN能够专门处理不规则的图结构数据。具体来说，GCN通过在图结构上传播信息来学习节点特征表示。节点通过与邻居的信息交互来更新其表示。

数据集介绍和任务描述

所提出的DAGCN-SFDA-DFL在NASA Ames的飞机涡轮风扇发动机完整生命周期数据集上进行了评估。该数据集收集了四种不同运行模式（OM）下的飞机涡轮风扇发动机运行状态和传感器数据，涵盖了丰富的特征信息。从这个意义上说，这些基本条件为模拟分布式联邦中每个退化数据集的不一致分布创造了条件。表1展示了完整的数据集规格。

结论

为了在保护数据隐私的同时提取非欧几里得退化模式，提出了DAGCN-SFDA-DFL用于跨域RUL预测。具体来说，为分布式联邦中的每个客户端设计了一个DAGCFN和两个RUL预测子网络。模型一致性策略在交互式训练期间增强了泛化能力。本研究的主要贡献包括：（1）本文提出了一种专门用于提取潜在非欧几里得特征的DAGCN架构

CRediT作者贡献声明

Jiusi Zhang：撰写——原始草稿、验证、方法论、资金获取、概念化。Chunxiao Wang：验证、软件、形式分析。Quan Qian：撰写——审阅与编辑、资金获取。Shen Yin：撰写——审阅与编辑、监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。