基于跨域注意力引导的多源领域适应方法在机械故障诊断中的应用

《Engineering Applications of Artificial Intelligence》：Cross-domain attention guided multi-source domain adaptation method for machinery fault diagnosis

提出基于跨域注意力引导的多源域自适应模型（CDA-MSDA），通过动态融合多源域特征、故障知识蒸馏模块及多模型动态协作决策机制，有效解决传统方法存在的全局分布对齐导致判别性特征损失和简单融合分类结果的问题，在三个基准数据集上验证，平均诊断准确率达94.99%，显著优于现有方法2-10%。

　　

Jie Wang|Jianning Gou|Haidong Shao|Yiming Xiao|Ying Peng|Bin Liu

湖南大学机械与车辆工程学院，长沙，410082，中国

摘要

与单源方法相比，多源领域适应（MSDA）用于故障诊断，可以整合来自不同领域的互补信息。这避免了选择单一来源的主观性和任意性。然而，现有的MSDA方法通常强制源领域和目标领域的特征进行全局分布对齐。这种对齐往往会导致目标领域中判别性故障特征的丢失，从而产生负迁移效应。为了解决上述问题，本文提出了一种基于跨领域注意力引导的MSDA模型（CDA-MSDA）。在该框架中，构建了一个跨领域注意力模块来动态融合源领域和目标领域的特征。该模块有效增强了源领域中与任务相关的特征迁移，并保留了目标领域中的判别性特征。然后，开发了一个故障知识蒸馏模块来指导特征提取器和分类器实现跨领域故障类别对齐。最后，设计了一个多模型动态协作决策模块。通过聚合多个分类器的预测结果，它解决了由于不同源领域可靠性差异而产生的预测冲突。在16个迁移任务的三个基准数据集上的广泛实验验证了所提方法的有效性。具体而言，CDA-MSDA的平均诊断准确率为94.99%，比现有最先进的方法高出2-10%，显示出在复杂故障诊断场景中的优越鲁棒性和稳定性。

引言

随着工业4.0的推进，机械设备越来越具有更高的智能性、复杂性和互连性（Chen等人，2025年；Shao等人，2025年）。在这种背景下，传统的操作和维护方法难以有效应对新兴的挑战。因此，有必要采用先进的智能操作和维护方法来监控复杂机械设备的工作状态（Wang等人，2025a；Liu等人，2025a）。

目前，基于深度学习的操作和维护方法已经得到了广泛的研究。这些方法允许以端到端的方式执行故障诊断，从而减少了对先验知识的依赖（Huang和Zhao，2024年；Bono等人，2022年；Wang等人，2024a）。例如，Li等人将模型校准策略与贝叶斯卷积神经网络（CNN）相结合，提出了一种可靠的机械设备故障诊断方法（Ye等人，2025年）。Lin等人引入了一种新的多模态大型语言模型，实现了机械系统中振动信号数据的领域特定性和模态对齐（Lin等人，2025年）。Wang等人在增量学习中应用了知识蒸馏。他们使用蒸馏损失来约束新模型模仿旧模型的行为，从而防止旧任务的灾难性遗忘（Wang等人，2023年）。最近，基于Transformer的模型在特征提取和表示学习中引起了广泛关注。凭借强大的全局感受野，这些模型可以从振动信号中挖掘出深刻的判别信息。这一能力显著提高了诊断的准确性和鲁棒性。Han等人将CNN与Transformer相结合，以解决故障诊断任务中噪声引起的干扰（Han等人，2025年）。Wang等人通过改进Transformer中的注意力机制计算来增强故障特征提取。这种方法有效减轻了故障诊断过程中冗余信息和强噪声引起的干扰（Wang等人，2024c）。这些方法的成功依赖于两个基本前提：具有足够标签的训练数据集的可用性以及训练数据集和测试数据集之间的分布一致性。然而，在真实的工业运行环境中，这些条件很少同时满足。主要挑战包括：（1）在正常运行周期中，机械故障发生频率较低，导致可用故障样本稀缺；（2）数据注释耗时且需要大量的人力和财力资源；（3）运行条件的变化导致训练数据集和测试数据集之间的分布发生显著偏移。相比之下，基于Domain Adaptation（DA）的方法克服了传统方法的泛化限制，在不同的运行条件下提供了可靠的性能。

通过减轻跨领域的分布偏移，DA促进了有效的故障知识迁移。其中，无监督DA在跨领域故障诊断中得到了广泛应用，因为它可以在没有标记的目标样本的情况下运行。Lei等人设计了一个无监督DA模型，将从故障数据中提取的多尺度和多结构信息嵌入到无监督DA框架中（Lei等人，2025年）。An等人结合高斯混合变分和Transformer开发了一种新的领域适应方法，有效减轻了由于动态源-目标对齐引起的损失波动和收敛缓慢问题（An等人，2023年）。Wang等人引入了一种基于深度强化学习和领域对抗训练的跨领域复合轴承故障检测方法（Wang等人，2025b）。Zhang等人开发了一种由内在信息引导的DA方法，以应对实际工业场景中可能出现的未知故障类型问题（Zhang等人，2024年）。为了克服由于隐私问题导致的源领域数据无法访问的限制，Wang等人开发了一种用于旋转机械故障诊断的无源DA方法（Wang等人，2024b）。上述方法主要关注单源DA。然而，工业故障诊断通常涉及具有多种运行条件的复杂环境。这种场景的固有多源特性使得源领域选择容易受到主观性和不确定性的影响。此外，来自单一源领域的知识往往不足以全面覆盖目标领域，导致在不同工作条件下的泛化性能较差。

目前，MSDA越来越受到关注。如图1所示，与单源DA方法相比，MSDA可以通过协作利用多个在分布上异质但在本质上相关的源领域来整合互补信息。例如，Chen等人开发了一种使用双重对抗的MSDA方法进行故障诊断（Chen等人，2023年）。Yu等人提出了一种利用多个源领域的可转移属性和特征的跨领域故障诊断方法（Yu等人，2024年）。Yang等人引入了一种多源集成DA方法，有效解决了单源适应中遇到的领域不匹配和偏移问题（Yang等人，2021年）。Liu等人将基于图的特征迁移纳入MSDA框架，有效捕获了关键的领域特定信息（Liu等人，2024年）。Liu等人引入了一种基于特征匹配的双分支MSDA方法，以减少多个源领域之间的特征差异（Liu等人，2025b）。此外，Zhu等人提出了一种名为MFSAN的新MSDA方法。该模型通过最小化最大均值差异（MMD）显式对齐领域特定分布，并利用分类器差异来权衡源领域（Zhu等人，2019b）。

尽管最近取得了进展，但现有的MSDA研究仍面临几个限制：（1）同一故障类型在不同运行条件下通常表现出表示差异。因此，强制跨领域对齐可能会扭曲目标领域的特征分布。这降低了类间可分性和类内紧凑性，导致判别性跨领域特征的丢失。（2）当前模型中的分类器通常采用平均策略来合并来自多个源领域的故障分类结果，忽略了特征提取器之间的领域适应能力差异。这种融合方法削弱了模型在跨领域分类决策中的判别能力。

为了解决这些问题，本文提出了一种名为CDA-MSDA的MSDA模型，旨在解决机械设备的跨领域故障诊断的核心挑战。在轴承和齿轮箱上的实验结果表明，所提方法有效整合了来自多个源领域的互补诊断信息，并在目标领域内提取了判别性跨领域特征。与现有的主流模型相比，CDA-MSDA在诊断准确性和跨领域稳定性方面都取得了显著更好的性能。本文的创新点如下：

• (1)
  构建了跨领域注意力模块，以动态融合源领域和目标领域的特征。该模块有效增强了源领域中与任务相关的特征迁移，并保留了目标领域中的判别性特征。
• (2)
  开发了故障知识蒸馏模块。通过利用跨领域注意力生成的故障类别分布作为软标签来指导特征提取器和分类器，该模块实现了跨领域故障类别对齐。
• (3)
  开发了多模型动态协作决策（MDCD）模块，以聚合来自多个分类器的预测结果。该机制有效解决了由于源领域可靠性差异而产生的预测冲突，从而增强了目标领域故障识别的鲁棒性。

本文的后续部分安排如下：第2节介绍多头自注意力、多项式核最大均值差异（PK-MMD）和MSDA问题。第3节详细描述了所提出的CDA-MSDA模型。第4节提出了两个实验来验证CDA-MSDA模型。最后，第5节总结了本文。

章节片段

多头自注意力的介绍

作为Transformer的关键模块（Dosovitskiy等人，2020年），多头自注意力（MHSA）通过计算令牌之间的相似性来捕获不同位置之间的依赖性，在许多领域取得了显著的成功。在机械故障诊断的具体背景下，振动信号被分割成不重叠的局部信号块序列，这些序列有效地作为输入令牌。

模型架构

本文提出了一种新的MSDA模型，如图3所示。所提出的模型由多个源-目标子模型组成。每个子模型包括一个特征提取器、一个领域判别器、一个分类器、一个跨领域注意力模块和一个故障知识蒸馏模块。每个子模型独立运行，不共享参数。这种独立性导致模型权重多样化，从而对目标领域产生不同的预测。

案例研究

为了评估所提方法的性能，使用了三个数据集。模型框架使用Python 3.9和PyTorch 1.12.1在PyCharm中实现。模型经过200个周期的迭代优化，参数通过SGD更新，动量因子为0.85。实验数据以32的批量大小进行训练。学习率设置为0.1。超参数α和β分别设置为0.7和0.9。用于

结论

在这项研究中，提出了一种新的CDA-MSDA模型，得出以下关键结论：（1）设计的跨领域注意力模块有效融合了来自源领域的可转移故障知识和来自目标领域的领域特定故障知识。（2）引入的故障知识蒸馏模块显著改善了类别对齐。（3）开发的MDCD模块可靠地聚合了来自多个子模型的分类结果，减轻了预测冲突

CRediT作者贡献声明

Jie Wang：撰写——原始草稿，可视化，验证，方法论，调查，形式分析，数据管理，概念化。Jianning Gou：撰写——原始草稿，验证，方法论，调查。Haidong Shao：撰写——审阅与编辑，监督，软件，资源，调查，资金获取。Yiming Xiao：撰写——审阅与编辑，验证，监督，方法论，调查。Ying Peng：撰写——审阅与编辑，可视化，验证，

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本研究得到了江苏省基础研究计划（编号：BK20253037）、国家自然科学基金（编号：52275104）和湖南省科技创新计划（编号：2023RC3097）的支持。