领域不变的知识集成蒸馏方法用于实现领域泛化的智能故障诊断

《Advanced Engineering Informatics》：Domain-invariant knowledge ensemble distillation for domain generalization intelligent fault diagnosis

提出域不变知识集成蒸馏（DIKD）算法，通过构建多专家网络实现不同工况下故障诊断知识的协同与蒸馏，有效整合专家模型优势以提升域泛化能力，实验验证了其在跨域诊断中的优越性。

　　

Kaixiong Xu|Youqiang Hu|Huafeng Li|Hongying Yan|Yuqiang Liu|Yi Chai|Ke Zhang

重庆大学自动化学院，中国重庆40044

摘要

基于领域泛化的故障诊断旨在将从已知工作条件下学习到的知识转移到之前未见过的条件中。一种流行的方法是利用领域对齐技术来学习领域不变的特征，通过的对齐提取的潜在语义嵌入来确保不同条件之间的一致性。然而，严格的对齐往往为了满足分布一致性的要求而牺牲了类别区分信息。随着源领域多样性的增加，仅通过简单对齐技术构建一个领域不变模型变得越来越具有挑战性。为此，本文提出了领域不变知识集成蒸馏（DIKD）算法。具体来说，首先为已知条件开发特定条件的诊断模型（专家模型）以封装特定领域的诊断知识。随后，这些专家模型之间进行知识传播和交换，以整合它们各自的优点，从而学习出鲁棒的领域不变特征。此外，基于知识蒸馏的学习策略旨在将多个专家的诊断知识转移到一个统一的学生模型中，从而增强最终决策过程的鲁棒性。广泛的跨领域故障诊断实验证明了DIKD的有效性。

引言

故障诊断作为工业自动化进步中的关键技术，在交通运输和航空航天等关键领域发挥着至关重要的作用，这些领域对高安全性和可靠性有极高的要求[1]。通过实时监控和分析大型高端设备的运行状态，故障诊断技术可以在早期识别系统异常，预测潜在的故障趋势，并帮助维护人员制定基于科学的维护策略。这有效地降低了意外故障的风险，确保了系统的稳定运行，并保护了人类生命。随着深度学习的进步，数据驱动的智能诊断和监控方法在准确性、实时性能和自动化能力方面有了显著提高[2]、[3]、[4]。通常，这些方法可以分为监督学习、半监督学习和无监督学习范式，每种方法针对不同的数据可用性场景。例如，在监督学习环境中，广义Koopman神经算子已成功应用于复杂电气铁路受电弓-接触网系统的数据驱动建模[5]。为了解决标记数据有限的挑战，半监督多模态技术在特定任务（如铁路系统中的电弧检测）中显示出有效性[6]。此外，高效的数据表示对于监控至关重要，这在关于高维数据（如LiDAR点云）压缩方法的综合调查中有所总结[7]。为了在复杂的非平稳工作条件下进一步提高特征的可区分性和鲁棒性，最近探索了几种先进的深度学习架构。例如，DACN[8]将对抗学习与胶囊网络相结合，以解决复合故障诊断任务并泛化到新的工作条件。同样，Li等人[9]提出了WavCapsNet，它利用小波核卷积层来学习可解释的特征，并结合胶囊层来分离复合故障。在序列建模领域，Exofeature-Aware Transformer[10]利用自注意力机制来捕获长距离依赖性，并在工业场景中增强特征鲁棒性。此外，Xu等人[11]提出了时频全连接图神经网络，以促进丰富的特征获取，并全面捕获异构传感器和多个时间尺度之间的依赖性。在实际的工业应用中，设备通常在变化的工作条件下运行，例如负载、速度和环境因素的变化，这会导致监控数据中的分布差异（即领域偏移），从而显著降低传统基于深度学习的诊断模型的性能。

尽管基于领域适应的故障诊断方法[12]、[13]、[14]在一定程度上缓解了分布差异，但它们的实际应用受到训练期间需要访问目标领域数据的要求的限制。幸运的是，在处理之前未见过的条件下的诊断任务时，基于领域泛化（DG）的方法[15]、[16]显示出了良好的潜力。这些方法在训练期间不需要访问目标领域样本，训练出的模型可以鲁棒地处理领域偏移，并且可以直接应用于目标领域而无需参数更新，从而实现在线故障诊断。DG的目标是使用一个或多个相关但不同的源领域的数据来训练诊断模型，使模型在未见过的目标数据上达到高诊断准确性[17]。现有的基于DG的故障诊断方法大致可以分为三类：基于领域对齐的方法[18]、[19]、[20]，基于数据增强的方法[21]、[22]、[23]，以及基于学习策略的方法[24]、[25]、[26]。一般来说，基于领域对齐的方法旨在通过跨多个源领域达成共识来学习领域不变的特征表示，从而提高诊断模型的泛化能力。这些方法通常依赖于领域对抗训练。然而，随着源领域多样性的增加，学习一个真正的领域不变模型变得越来越具有挑战性。此外，对抗学习往往为了分布对齐而牺牲了类别区分信息。基于数据增强的方法侧重于增加源领域样本的数量，例如，通过使用混合策略或生成对抗网络（GAN）来创建合成样本。虽然这些方法可以通过鼓励模型学习更通用的特征来提高诊断性能，但由于领域偏移和其他复杂因素，仍然难以准确预测未见工作条件的数据分布并生成有意义的训练数据。此外，生成伪故障样本可能需要辅助模型，从而导致计算开销增加。同时，也难以确保生成样本的语义有效性，错误的伪样本可能会误导诊断模型。基于学习策略的方法，如那些结合元学习的方法，通常涉及额外的超参数调整或复杂网络架构的设计，以实现更好的泛化。这些方法可能会提高性能，但通常会以增加设计和训练复杂性为代价。

为了克服上述方法的局限性，本文从一个新的角度探讨了故障诊断中的领域泛化问题。利用深度学习的能力，针对每个特定工作条件定制的诊断模型可以从数据中有效学习特定条件的诊断知识。如果这些专门模型之间可以传输知识，那么可以获得一个更加通用的诊断模型。通过在训练阶段促进条件特定模型之间的有效知识交互和传输，就可以整合各种条件的诊断优势，并最终提炼出一个对之前未见或变化的工作条件具有更大鲁棒性的统一诊断模型。这种方法的核心思想如图1所示。不同的诊断模型被训练来识别不同工作条件下的故障。随着经验的积累，这些专门的诊断模型能够快速学会在其各自条件下识别故障类型。然而，当一个专门模型应用于新的、未见过的条件时，由于领域差异，性能可能会下降，使得故障识别更加困难。考虑到一些专门模型可能对应于与新条件更相似的条件，这些模型可能会提供更准确的诊断结果。当这些模型进行知识交换时，它们可以传播、共享和整合它们的专业知识，从而在新工作条件下实现更准确的故障类型分类。

基于这一见解，本文提出了领域不变知识集成蒸馏（DIKD）算法。DIKD与大多数依赖对抗学习进行分布对齐的现有方法最为相似，但我们的方法设计了一个多专家网络来捕获特定领域的知识。直观地说，在细粒度故障诊断任务中，严格对齐特征分布（例如，通过对抗训练）可能是适得其反的。为了欺骗领域判别器，特征提取器可能被迫丢弃微妙但关键的类别区分信息（如区分不同故障严重程度的特定脉冲模式），因为这些模式在不同领域之间往往表现出轻微的变化。DIKD通过避免强制对齐来缓解这个问题；相反，它汇集了多个特定领域专家的共识，从而保留了每个专家建立的清晰决策边界。DIKD背后的核心动机是将范式从特征混淆（对抗性）转变为专家共识（协作性）。受此动机驱动，我们采用了一个多专家架构，其中冻结的专家作为语义锚点。通过迫使特征提取器同时满足不同专家的要求，DIKD隐式地学习了跨领域的有效知识的交集。实验表明，这种设计导致了更稳定的训练过程和显著的性能提升。

总之，本工作的主要贡献和优势如下：

• 1.
  提出了一种用于智能故障诊断的新DG框架。它采用多专家网络架构，并通过专家间的交流促进知识传输，以学习领域不变特征。
• 2.
  设计了一种精心设计的知识蒸馏策略，将专家知识整合到一个统一的诊断模型中，显著提高了在未见工作条件下的诊断性能。
• 3.
  在多个领域泛化任务上进行了广泛的评估。结果证明了我们方法的明显优势。

相关工作

相关工作

近年来，在处理复杂场景方面取得了重大突破。例如，为了解决未知故障诊断的挑战，Wang等人[27]提出了一种用于运输船舶推进系统的自适应进化重建度量网络，并构建了一个自适应阈值机制，以提高模型对未知故障的适应性。同样，多源领域特征决策双重融合对抗网络的提出也有所改进

提出的方法

为了便于阅读，表1提供了本文中使用的符号定义。

实验

为了验证本文提出的方法的性能，进行了案例研究，并与几种流行的方法进行了比较。

结论

本文提出了用于DG故障诊断的领域不变知识集成蒸馏（DIKD）。DIKD采用多专家网络设计来学习特定条件的知识。然后，这些专家网络之间的知识传播和交换实现了两个关键目标：（1）通过专家互动促进领域不变特征提取能力；（2）通过整合多个专家的诊断知识来提高泛化性能。

CRediT作者贡献声明

Kaixiong Xu：撰写——原始草稿、可视化、软件、资源、方法论、形式分析、概念化。Youqiang Hu：撰写——审阅与编辑、验证、软件。Huafeng Li：撰写——审阅与编辑、调查、概念化。Hongying Yan：验证、数据管理。Yuqiang Liu：验证、形式分析。Yi Chai：监督、项目管理、资金获取。Ke Zhang：监督、项目管理、资金获取。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作部分得到了国家自然科学基金（项目编号：52572493、U2034209、62573072）的支持，部分得到了中央高校基本科研业务费（项目编号：2019CDYGZD003、2024CDJGF-022）的支持，部分得到了重庆市基础研究与前沿探索项目（项目编号：cste2024yejh-bgzxm0099）的支持，以及部分得到了重庆市渝中区技术创新与应用发展项目（项目编号：20240111）的支持。