用于跨域故障诊断的非对称模态的自适应门控扩散模型网络

《Neurocomputing》：Adaptive gated diffusion model network for asymmetric modalities applied to cross-domain fault diagnosis

　　李明琦|尹蕾|王启斌|高旺树|陈大伟|肖亮|郑定龙
西安电子科技大学高性能电子设备机电一体化制造国家重点实验室，中国西安710071

摘要
基于多模态信号融合的智能故障诊断技术已经展现出优于单一模态方法的性能。然而，在现实世界的工业场景中，由于成本或部署限制，目标设备往往无法像在实验室环境中那样全面地捕获多模态数据，从而导致某些模态数据的缺失。同时，由于运行条件的变化引起的域偏移进一步加剧了模型的失效问题。为了解决这个问题，本文提出了一种自适应门控扩散模型网络（AGDMN），其中源域包含标记的多模态数据，而目标域只有未标记的部分模态数据。AGDMN首先进行特征提取和分离，将不同模态和域之间的共享特征和私有特征分开，以便于后续的特征融合和跨模态生成。然后，在源域上训练一个条件扩散模型，使用振动特征作为条件来学习生成高保真声音或电流特征的复杂映射。在目标域中，该模型使用振动特征作为输入来重建缺失的特征。设计了一个自适应门控融合模块，其中包含一个任务感知的评分网络，动态评估每种模态对诊断任务的贡献。结合跨模态注意力机制，它生成自适应的门控权重，以实现特征的鲁棒加权融合。在三个跨条件任务上的实验结果表明，AGDMN模型取得了优越的性能。

引言
随着工业4.0和智能制造的发展，旋转机械的健康监测和故障诊断对于确保生产安全和降低维护成本变得至关重要[1]，[2]。基于深度学习（DL）的智能诊断方法已成为主流，因为它们可以从大量的监测数据中自动学习复杂的故障模式[3]，[4]。当滚动轴承出现故障时，其运行状态信息会发生显著变化。这些状态变化特征可以嵌入到多种不同的信号源中。例如，振动信号分析是轴承故障诊断的主流方法，它通过提取振动频率、幅度和波形变化来识别轴承异常。获取的信号以低成本包含丰富和详细的故障特征。然而，作为一种基于接触的测量方法，其在高温、高压或高腐蚀等恶劣环境中的部署受到限制[5]。声学信号对微弱故障和异常摩擦非常敏感，适用于早期故障诊断。此外，声学信号可以通过非接触方法收集，克服了振动分析的一些限制[6]。尽管如此，它们的部署涉及更多的约束，并且容易受到环境噪声的干扰。基于电流信号的轴承故障诊断使用电流传感器收集电机的定子电流信号，间接诊断轴承故障。当滚动轴承发生局部损坏时，负载扭矩会经历周期性波动，从而导致电流变化。可以从这些电流变化中提取轴承的故障特征频率，以确定轴承的状态。这种方法的优点在于其简单性和高实用性[7]，[8]。然而，这种方法提取的故障特征频率成分通常有限，容易导致误报和漏检。因此，融合多源异构数据（如振动、声音和电流）的多模态学习方法可以提供比单一传感器方法更全面和可靠的设备健康信息[9]，[10]，[11]。

回顾多模态融合技术，从早期的特征串联，到后来的决策融合，以及最近基于注意力机制和Transformer的中间融合[12]，[13]，[14]，它们都假设获取的模态是完整的，如图1所示。然而，在某些极端环境中，多传感器信息的不完整性是不可避免的。在关键设备长期运行过程中持续准确地收集多模态数据是具有挑战性的[15]，[16]，[17]。在某些工作场景中，由于成本考虑或部署限制，部署具有多种模态的传感器是不可行的。此外，在某些极端条件下，收集的数据可能会引入显著的噪声，掩盖有效特征，甚至导致传感器损坏或脱落，从而造成模态丢失[18]。这种模态之间的不对称性使得直接转移在源域训练的复杂多模态模型变得困难。

此外，深度学习模型的一个基本假设是训练数据和测试数据是独立同分布的。但在工业环境中，负载、速度和环境温度的频繁变化会导致显著的域偏移。这使得在源运行条件下训练的模型在应用于目标条件时性能急剧下降[19]，[20]，[21]。大多数现有的域适应（DA）方法假设源域和目标域共享相同的模态空间，仅解决了域偏移问题。相反，现有的多模态融合方法假设所有模态始终可用。针对同时存在的模态不对称性和运行条件域偏移这一更复杂和现实的挑战的研究仍然不足。

一种简单的方法是丢弃源域中的多余模态，仅使用共享模态进行训练。这浪费了源域中宝贵的多模态信息，导致模型鲁棒性不足。更重要的是，依赖单一模态诊断假设存活的模态可以独立捕获足够的域不变特征。然而，在复杂的工业环境中，单一模态容易受到特定干扰的影响，如结构共振或传感器退化。另一种方法是通道丢弃[22]，[23]，在训练过程中随机丢弃源域中的一部分模态，以提高模型的鲁棒性和泛化能力，解决源域和目标域之间的模态不匹配问题。然而，这种方法有丢失关键信息的风险，需要仔细优化丢弃概率。

一些研究尝试使用生成对抗网络（GANs）来生成缺失的模态[24]，[25]，[26]。然而，GANs存在训练不稳定问题，生成特征的质量难以保证[27]，[28]，特别是在跨域场景中，生成的特征可能包含干扰后续融合和分类的“伪影”。冯等人[29]使用U-Net结构来估计和插补缺失数据，利用重建误差和潜在表示差异来获得异常分数，从而通过异常分数融合提高模型性能。李等人[30]采用全局特征提取方案，引入对抗训练来提取传感器不变特征，用于剩余使用寿命预测。朱等人[31]使用均值替换方法从可用数据生成替换信息以完成缺失数据，进一步使用深度神经网络进行故障状态分类。王等人[32]采用变分自编码器方法来重建缺失数据以进行故障诊断任务。张等人[33]结合生成对抗网络和知识蒸馏来插补缺失的传感器数据，用于液体火箭发动机的异常检测。孙等人[34]提出了一种小波驱动的多源融合重建网络，该网络使用故障物理知识转移策略来克服不完整性挑战，并基于协调表示进行重建，使得缺失故障特征的完成不受缺失模式的影响。赵等人[35]提出了一种多模态统一泛化和翻译网络，该网络使用信息增强融合和互信息最大化策略来学习不变的统一故障表示，并采用语义监督翻译机制来解决缺失模态问题。

回顾GANs和扩散模型（DDPM）在域适应和数据增强中的应用[36]。GANs通常用于图像到图像的转换（例如CycleGAN）或特征生成。作为新兴的最先进生成模型，扩散模型因其 在图像和音频生成以及训练稳定性方面的出色结果而受到广泛关注[37]，[38]。虽然生成对抗网络（GANs）和变分自编码器（VAEs）已被用于处理缺失模态和数据增强，但在处理复杂的非平稳机械信号时存在局限性。GANs经常遭受训练不稳定和模式崩溃的问题，难以捕捉在不同运行条件下的故障特征多样性。此外，对抗训练过程可能会引入不真实的“伪影”，误导诊断分类器。另一方面，由于VAEs依赖于显式的高斯先验和重建损失，它们倾向于产生过度平滑的表示，这通常会掩盖早期机械故障的特征。相比之下，DDPMs作为一种更优秀的生成任务替代方案，在故障诊断中显示出巨大潜力。通过渐进式迭代去噪过程，扩散模型可以准确映射复杂的多模态数据分布，并具有高训练稳定性。更重要的是，与其他最先进方法相比，扩散模型在信号处理方面具有明显优势。迭代细化有效地保留了在VAEs中容易丢失的清晰、高频物理先验。与GANs相比，扩散模型不太容易发生模式崩溃，确保了在不同域中故障特征的重建。缺乏对抗性伪影确保了合成模态与真实物理信号保持语义一致性。因此，利用扩散模型进行跨模态生成为解决模态不对称性和运行条件变化提供了基础特征空间。

如何鲁棒地融合真实模态与（可能带有噪声的）生成模态是一个亟待解决的关键问题。为了解决上述双重挑战，本文提出了一种自适应门控扩散模型网络（AGDMN）。具体来说，其主要贡献如下：
(1) AGDMN形成了一个统一的框架，旨在解决目标域中的分类器由于传感器缺失而无法利用新模态信息的问题。合成模态为目标域数据赋予多模态结构，使其能够在联合特征空间中与真实源域数据对齐。
(2) 引入了一个条件扩散模型（CDM）来解决不对称模态DA问题。利用其高生成质量和稳定训练的优势，CDM学习了源域中不同模态信号之间的映射关系。然后，它可以根据目标域的振动数据生成高质量、条件匹配的合成电流或声音特征，实现模态的完整。
(3) 为了解决真实模态和生成模态的融合，设计了一个新颖的自适应门控融合（AGF）模块。该模块的核心是一个任务感知的评分网络，动态评估每种模态的质量和相关性。结合跨模态注意力，它计算出最佳融合权重。

本文的结构如下：第2节提供问题定义和初步介绍。第3节详细阐述了AGDMN模型架构。第4节介绍了实验设置、结果分析和消融研究。第5节总结了限制和失败案例。第6节对本文进行了总结。

问题定义
在实际场景中，源域表示为Ds={(xs,iv,xs,is),ys,i=1Ns}，包含标记样本，其中xsv表示振动信号，xss表示声学信号，ys是故障标签。目标域表示为Dt={(xt,iv)}i=1Nt，包含Nt个未标记样本，仅由振动信号组成。本研究的目标是利用Ds和Dt训练一个在目标域上具有高准确性的分类器。

去噪扩散概率模型（DDPM）是一种用于数据生成的模型

提出的方法
AGDMN的整体框架如图3所示。首先，收集的数据经过归一化并使用FFT变换，然后输入到1D CNN中分别提取振动和声音的频域特征。特征多样性损失将提取的特征分为共享特征和私有特征。接下来，使用条件扩散模型学习源域中两种模态之间的映射关系，然后使用目标域中的振动模态...

数据集描述
提出的方法使用PDU轴承数据集[45]进行验证。图6表明，测试装置由五个模块组成：电机、扭矩测量轴、滚动轴承测试模块、飞轮和负载电机。在轴承测试模块中安装了不同类型损坏的球轴承以生成实验数据。使用加速度计从轴承外壳获取振动信号，并使用电流传感器从...

限制和失败案例
虽然提出的AGDMN在缺失模态的情况下表现出优越的诊断性能和鲁棒性，但必须承认其固有的操作边界和潜在的失败案例。条件扩散模型的有效性依赖于目标域中保留模态的输入质量。当目标振动信号受到极端噪声的严重干扰时，网络难以提取可靠的物理先验。在如此极端的条件下，本文提出了AGDMN（Adaptive Gateway Fusion Module）来解决工业诊断中操作领域转变和传感器数据缺失的双重挑战。首先，通过使用特征多样性损失来执行特征解耦，以分离共享特征和私有特征。接下来，采用条件扩散模型在目标域的特征层完成缺失的模态。随后，设计了一个自适应门控融合模块，该模块通过CRediT作者贡献声明动态评估模态质量。作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢：本工作得到了国家自然科学基金（项目编号52375120）、陕西省重点研发计划（项目编号2024CY2-GJHX-68）、中央高校基本科研业务费以及西安电子科技大学创新基金（项目编号YJSJ26002）的支持。李明奇于2024年在中国辽宁省沈阳市的沈阳航空航天大学获得机械工程学士学位，目前正在西安电子科技大学攻读机械工程硕士学位。他的当前研究兴趣包括基于深度学习的智能诊断。