通过跨模态自对比学习，在有限标记数据的情况下实现机电系统鲁棒的多模态故障诊断

《Neurocomputing》：Towards robust multimodal fault diagnosis of electromechanical systems with limited labeled data via cross-modal self-contrastive learning

　　高伟旭|詹路|刘敏
同济大学电子与信息工程学院，上海，201804，中国

摘要
具有全面和互补信息的多模态信号已成功应用于机电系统的故障诊断。然而，标记多模态信号数据的稀缺，加上不可避免的分布偏移，对多模态诊断模型的有效训练构成了重大挑战。此外，在长时间的推理过程中，并不能总是保证所有模态的可用性，这可能会进一步导致性能显著下降。因此，本文提出了一种基于跨模态自对比学习（CMSCL）模型的鲁棒多模态故障诊断方法，该方法可以在有限的标记数据下工作。首先，收集并预处理异构多模态信号，以提取不同模态之间的统一故障特征。然后，通过在未标记信号数据上使用模态掩蔽自监督学习对CMSCL模型进行初步预训练，随后使用有限的标记数据进行微调以进行故障诊断。最后，设计了一个缺失模态补全模块并将其集成到CMSCL模型中，以进一步解决缺失模态的问题。在两个公开实验平台数据集和一个来自不同机电系统的真实世界工业数据集上的广泛实验结果表明，与现有技术相比，所提出的方法具有更高的准确性和鲁棒性。

引言
机电系统对于确保现代工业的安全运行和高效率至关重要。关键组件，如电机、齿轮箱和旋转机械，对于维持这些系统的可靠性和效率至关重要。它们的故障可能导致严重的运行中断、巨大的经济损失，甚至安全隐患。及时和准确的故障诊断有助于在问题发展成严重故障之前识别潜在问题，从而采取预防措施，确保运营连续性并降低维护成本[1]。
最近，来自不同模态的多模态传感信号（包括振动、电流、扭矩和力数据）已广泛应用于机电系统的故障诊断中，这些信号可以通过捕获更全面和互补的信息来提高诊断模型的准确性和鲁棒性。例如，Wang等人[2]提出了一种多层次信息融合框架，有效整合了时间和频率域中的振动和扭矩信号，从而提高了诊断准确性。Gültekin和Cinar[3]提出了一种通过多信号融合增强的深度元学习方法，用于智能故障诊断，在标记样本有限的情况下实现了鲁棒性能。Ma等人[4]提出了一种统一的表示和融合框架，整合了多源异构数据（包括时间序列和选定的图像区域），用于热轧过程中的故障诊断。然而，这些方法通常需要大量的标记多模态信号数据来充分训练多模态故障诊断模型。然而，在实际工业应用中，由于相关的高成本和耗时的过程，收集和注释如此大量的标记数据极其困难。
为了解决训练多模态故障诊断模型对大量高质量标记数据的需求，一种直观的方法是采用数据增强技术，如信号变换、噪声注入以及生成模型（如生成对抗网络GAN和扩散概率模型），以扩展训练数据集而无需额外的标记[5]、[6]。例如，Li等人[7]提出了一种结合GAN的自适应扩散模型作为故障诊断的数据增强方法。Cheng等人[8]提出了一种基于双通道GAN的数据生成框架，用于工业轴承的少样本故障诊断，其中一个通道处理时间序列数据，另一个通道处理图像数据。Pu等人[9]提出了一种基于增量生成对抗诊断的框架，使用少样本启用的一类学习，其中GAN首先使用正常数据进行训练以学习潜在表示，然后使用一类分类器来识别仅有少量标记样本的新故障样本。尽管数据增强在减轻数据需求方面具有优势，但大多数现有方法仍然针对单模态信号设计，特别是那些具有强故障相关特征（如振动信号）的信号。相比之下，对于那些故障特征较弱的信号，增强后的数据可能缺乏真实世界信号的复杂性和多样性，可能无法完全捕捉到实际的故障模式，从而限制了模型在实际应用中的性能。例如，电流信号通常包含强烈的基频成分、谐波和电源干扰，而故障引起的变化相对微妙。因此，生成模型倾向于学习和再现主导模式而不是关键的故障相关干扰，导致增强后的数据在故障诊断方面的判别能力有限。
另一种有前景的方法是通过迁移学习来解决这一挑战，它可以从源问题转移数据或知识来帮助解决具有有限标记数据的不同但相关的目标问题。各种迁移学习方法，如领域适应、领域泛化以及特别是预训练和微调，已被广泛集成到基于标准深度学习的故障诊断模型中，以解决数据短缺问题[10]、[11]。例如，Chen等人[12]提出了一种无监督的多领域适应网络，用于在不同工作条件下的旋转机械故障诊断，在训练阶段目标领域数据的量显著减少。Prasshanth等人[13]使用十五个预训练的神经网络对单块离心泵的故障进行分类，从而减少了对目标领域大量训练数据的依赖。尽管一些现有的迁移学习方法减少了目标领域对标记数据的依赖，但它们通常严重依赖于源领域的大规模标记数据。当这些注释有限或源领域和目标领域之间存在显著分布偏移时，它们的性能往往会下降。
为了克服这些限制，自监督对比学习越来越多地被整合到迁移学习框架中[14]，使得能够在未标记的源数据上预训练出鲁棒的编码器，并有助于为下游故障诊断任务提取具有判别性和可转移性的表示。例如，Song等人[15]提出了一种基于自编码器的自监督渐进学习框架，并加入了一个任务难度预测器，以应对标记数据有限和不同工作条件的挑战，从而实现更稳定和准确的故障诊断。Ding等人[16]提出了一种用于初期轴承故障诊断的自监督对比学习框架，该框架通过定制的1D数据增强有效地从未标记的振动数据中学习判别特征。He等人[17]利用未标记的时频自对比对进行自监督对比学习，促进了跨领域复合故障诊断的域不变特征提取，适用于机器级电机。然而，大多数现有的基于自对比学习（SCL）的故障诊断方法主要是为单模态数据设计的，无法模拟多模态信号之间的相互依赖性和相关性。
最近，越来越多的努力致力于将SCL预训练方法扩展到多模态场景。这些方法旨在通过跨不同模态的自对比学习来学习捕捉模内和模间依赖性的跨模态表示。例如，Mai等人[18]引入了一种用于地理空间-视觉表示的多模态自对比空间预训练框架。该框架利用对比目标从未标记图像中学习有效的位置表示，便于转移到下游的监督图像分类任务中。此外，Zhang等人[19]提出了一种具有对象对比学习的视觉-语言预训练框架，旨在实现灵活的下游场景理解任务的迁移性。尽管SCL预训练方法在某些多模态场景中取得了显著的成功，但它们在多模态故障诊断中的应用仍然很大程度上未被探索[20]。这是由于在真实工业场景中存在几个必须彻底考虑和适当解决的关键问题：
1) 多模态信号数据通常来自异构传感器，每个传感器都具有不同的特性，例如采样率和分辨率的变化。此外，来自不同模态的信号通常包含不同水平的固有噪声，并且对噪声的敏感性不同，这可能会掩盖关键信号特征并使故障诊断复杂化。
2) 标记多模态信号数据的稀缺，加上预训练和微调数据在不同领域之间的不可避免的分布偏移，是训练多模态诊断模型的主要障碍。这些挑战阻碍了将多种传感模态有效地整合到一个支持下游诊断任务的鲁棒且连贯的全局嵌入中。
3) 在长时间的推理阶段，并不能总是保证所有模态的可用性。当传感器因故障、电源中断或其他操作故障而不可用时，可能会不可避免地出现缺失模态。这种关键传感器数据的缺失不仅会使多模态的整合复杂化，还可能显著降低模型性能，在某些情况下甚至会阻止关键故障的检测和识别。
为了解决这些挑战，本文提出了一种基于跨模态自对比学习（CMSCL）模型的鲁棒多模态故障诊断方法，该方法考虑了多种模态、有限的标签和缺失模态。首先，考虑到具有固有噪声的多样多模态信号，开发了一种结合时间移位和包络谱分析的数据处理方法，以减轻噪声干扰并统一多模态信号的分析尺度。然后，在CMSCL模型中，使用模态掩蔽策略在无监督的SCL框架内构建和预训练了特定于模态的适应性编码器和全局投影器。这种方法显著减少了了对标记数据的依赖。与一般的对比学习框架[21]不同，该模型中的正负训练对是由同一跨模态信号嵌入的两个模态掩蔽变体生成的。这种设计消除了手动构建显式训练对的需要。随后，使用有限的标记数据对预训练的编码器、投影器以及下游分类器进行微调，以避免分布偏移并实现故障诊断。最后，基于预训练的编码器开发了一个缺失模态补全模块，并将其集成到CMSCL模型中，以解决缺失模态的问题[22]。虽然先前的工作通过组合或生成缺失模态数据或其特征表示来解决这个问题[23]，但这种方法的不同之处在于它利用了类似的完整样本。这种设计基于两个关键前提[24]、[25]：首先，同一故障类别内的样本表现出强烈的类内特征相似性；其次，检索到的类似模态数据比生成的数据更真实。本文的主要贡献总结如下：
1) 提出了一种新颖的CMSCL模型，用于在标记数据有限和模态不完整的情况下对机电系统进行鲁棒的多模态故障诊断。在两个公开数据集和一个来自工业生产线的真实世界数据集上的广泛实验表明，所提出的方法一致性地优于最先进的（SOTA）多模态和半监督方法。
2) 开发了一种使用未标记多模态数据的掩蔽嵌入的跨模态自对比预训练策略。这种策略为无监督地捕获跨模态依赖性和从多个传感器模态中学习鲁棒、可转移的全局特征提供了新的视角，用于下游诊断任务。
3) 设计并引入了一种缺失模态补全机制，将其集成到CMSCL模型中，以在长时间工业过程中一个或多个传感器模态不可用时进一步提高鲁棒性，即使在严重缺失模态的情况下也能实现可靠的故障诊断。
本文的其余部分组织如下。第2节介绍初步内容。第3节详细介绍了所提出的方法。第4节展示了实验结果和全面分析。最后，第5节总结了本文并讨论了未来的工作。

部分摘录
在有限标签和缺失模态下的多模态故障诊断
多模态故障诊断旨在整合异构数据源（例如，振动、电流和扭矩信号），以提高故障识别的准确性和鲁棒性。设表示模态集合。对于每个样本，多模态观测定义为，其中表示模态的观测信号数据。每种模态提供了关于设备状态的互补信息。相应的标签表示为，其中是故障类别的数量。

提出的方法
本节详细介绍了所提出的鲁棒多模态故障诊断方法，整体框架如图1所示。首先，设计了一种数据处理方法，从收集的原始多模态信号中提取重要的故障特征。然后，提出了一种CMSCL模型，并使用未标记信号数据的不同掩蔽全局特征进行对比预训练。接下来，使用有限的标记数据对预训练的CMSCL模型进行微调。

实验
为了评估所提出方法的有效性和优越性，在Paderborn大学滚动轴承（PU-RB）数据集、东南大学传动系统动力学模拟器齿轮箱（SEU-DDSG）数据集以及中国最大的铜冶炼厂的真实世界氧气压缩机轴承（OCB）数据集上进行了实验。

结论
本文提出了一种用于机电系统鲁棒多模态故障诊断的新CMSCL模型。首先，设计了一种数据预处理方法，用于从具有不同采样率和噪声水平的多模态信号中提取统一尺度的特征。然后，CMSCL模型使用从多模态信号中得到的两个不同掩码版本的全局嵌入来构建自对比对。通过无监督的对比学习，该模型有效地捕捉了CRediT作者的贡献：徐高伟负责撰写初稿、可视化、验证、软件开发、资源准备、方法论设计、研究调查、资金筹集、正式分析以及数据整理和概念化；卢茜安负责方法论设计、软件开发、验证和可视化工作；刘敏负责撰写和编辑工作。作者声明：作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究结果。致谢：本研究得到了国家自然科学基金（项目编号62503369）、上海青年人才发展计划（航海专项计划，项目编号24YF2749000）以及福州市科学技术局科技合作项目（项目编号2025-Y-004）的支持。徐高伟于2020年在中国上海的同济大学获得控制科学与工程博士学位，目前担任同济大学电子与信息工程学院及上海智能科学技术研究院的助理教授。2020年至2024年间，他曾在中国上海的华为技术有限公司担任高级研究工程师。他的当前研究兴趣包括深度学习、迁移学习和故障检测。