MSLDPN：一种多模态时空数据预测网络，用于激光金属沉积过程中裂纹诊断和质量监控，尤其在标签资源稀缺的情况下

《Optics & Laser Technology》：MSLDPN: Multimodal spatiotemporal data prediction network for crack diagnosis and quality monitoring in laser metal deposition process under label scarcity

激光金属沉积（LMD）过程中裂纹缺陷检测面临标签稀缺、跨模态时空对齐困难等问题。本文提出多模态时空预测网络（MSLDPN），通过融合混合监督多任务学习与正未标记学习理论，设计时间对齐模块、跨模态注意力融合模块，结合ResNet50构建端到端网络。实验表明，该网络在裂纹诊断任务中AUC达95.43%、F1-score 88.46%，质量监测准确率97.89%，有效解决标签不足和异步数据对齐难题。

　　

许振英|杨月|陈超|王昌|吴子谦

江苏大学机械工程学院，中国镇江212013

摘要

裂纹是激光金属沉积（LMD）过程中的关键缺陷，严重影响了制造部件的质量。由于微裂纹的大小范围广泛且空间分布不规则，数据驱动的监测变得具有挑战性，因为难以定义无缺陷的负样本并获得足够准确的标签。虽然多模态时空数据比单模态监测方法提供了更全面的特征描述，但其有效性受到跨模态精确时间对齐的严格要求限制。为了解决这些问题，本研究提出了一种端到端的轻量级多模态时空数据预测网络（MSLDPN），适用于标签稀缺的场景。MSLDPN结合了混合监督多任务学习与来自正样本无标签学习的约束，显著减少了对大规模标注数据的依赖，并明确定义了“无裂纹”的负样本。该网络包含三个关键组成部分：用于同步异步数据流的时间对齐模块、采用对称跨模态分支和基于注意力的融合策略的时空特征提取与融合模块，以及多任务预测模块。实验结果表明，MSLDPN在弱监督裂纹诊断中的AUC达到95.43%，F1分数为88.46%，在完全监督的质量监测中的准确率为97.89%。这项工作为LMD中的裂纹缺陷预测提供了一种高精度、低标签成本的解决方案。

引言

激光金属沉积（LMD）由于其固有的非均匀热循环而容易产生裂纹，在此过程中，快速的金相-液态-金相相变发生在移动的激光热源下[1]，[2]。裂纹不仅影响沉积层的质量，还充当应力集中点，可能导致部件断裂失效。它们复杂的形成机制和有限的可控性使得裂纹缺陷成为LMD更广泛应用的主要障碍，因此可靠的裂纹诊断和质量监测成为紧迫的研究课题[3]。

监测熔池状态对于沉积层缺陷至关重要，它们之间存在复杂的相互关系[4]。早期研究主要依赖单传感器设备，并使用不同的信号处理技术来提取与过程相关的特征[5]。Barua等人[6]从熔池图像的RGB值推断裂纹的存在，但这种方法仅对识别大型缺陷有效。Mazzarisi等人[7]将热特性（例如，最高温度、热梯度）与裂纹发生率相关联。然而，熔池演化是一个多物理过程[8]，伴随着包括光学、声学和热辐射在内的各种信号的生成；单模态方法由于信息不完整性而具有有限的缺陷识别准确性。

信息技术的最新进展推动了多种信号采集设备的广泛应用，如高速相机[9]，[10]、热成像仪[9]，[10]、声发射传感器[11]和多传感器融合系统[12]，以捕获LMD过程中的互补过程特征。这些研究强调了多模态数据在提高LMD质量监测效果方面的巨大潜力。然而，在数据处理方面，大多数现有方法都基于完全监督学习范式，这预设了大规模、高质量和准确标注的数据集的可用性。在沉积层缺陷领域，由于需要物理样品制备和沉积后检查，获取此类标签的成本非常高且耗时。为了缓解标签稀缺问题，人们探索了半监督学习。Jafari等人[13]开发了一种半监督的自组织误差驱动神经网络，有效预测了孔隙度的空间分布。Pandiyan等人[14]将基于对比学习的卷积神经网络（CNN）与逻辑回归算法结合用于缺陷类型预测。同样，Yuan等人[15]应用半监督CNN从单轨沉积层中提取熔池特征，在他们的部分标注数据集上展示了在回归和分类任务中的竞争性能。

尽管取得了进展，但专门针对裂纹缺陷的研究仍然有限。一个主要障碍在于检测内部微裂纹，这些裂纹的特点是尺寸微小、生长方向随机且分布不规则。这些属性严重加剧了标签稀缺问题，使得难以可靠地定义无缺陷的负类，甚至可能导致完全没有负样本，从而使传统的半监督方法不适用于LMD中的裂纹缺陷预测。

为了解决这些问题并填补空白，本研究提出了一种多模态时空和标签稀缺数据预测网络（MSLDPN），它在保持高性能的同时大幅减少了对标注样本的依赖。主要贡献总结如下：

(1) 为标签稀缺场景开发了一种混合监督学习方法。通过结合非负正样本无标签学习理论和改进的自适应学习策略，有效解决了裂纹样本有限和定义无裂纹类别的困难，增强了模型对复杂样本的鲁棒性。

(2) 设计了一种跨模态时间对齐模块（TAM），以解决异构传感器之间的异步性和时间不匹配问题，为多模态时空特征提取奠定了坚实基础。并在多模态特征融合阶段采用了注意力机制进行跨模态集成。

(3) 构建了一个名为MSLDPN的端到端多任务网络，基于ResNet50。在我们的激光沉积裂纹数据集上，它的性能优于现有的高维时空模型，裂纹诊断的AUC达到95.43%，F1分数为88.46%，质量水平监测的准确率为97.89%——验证了其有效性和可靠性。

本文的其余部分组织如下。第2节介绍了理论基础，包括时间偏移模块、正样本无标签学习理论和本研究采用的裂纹评估标准。第3节详细介绍了MSLDPN架构和混合监督约束项。第4节描述了实验设置并展示了结果分析。第5节总结了研究并指出了未来工作的方向。

部分摘录

基于时间偏移模块（TSM）的轻量高效时空建模

高速相机和热成像仪收集的熔池监测数据包含时间和空间属性，构成了一个随时间演变并表现出强空间相关性的复杂时空信号。有效处理这种高维数据并进行高效时空建模仍然是数据驱动裂纹缺陷监测方法的主要挑战。

在时空建模方面，最简单和最

提出的方法

为了实现LMD中裂纹缺陷的可靠诊断，并解决获取缺陷样本的困难、裂纹标签的稀缺以及定义无缺陷样本的复杂性，本研究提出了一种基于ResNet50[30]框架的多模态时空数据预测网络（MSLDPN），用于裂纹异常识别和质量监测，如图3所示。

所提出的网络包含三个核心组成部分：一个多模态输入模块，一个

实验设置

图9(a)展示了LMD的多模态裂纹诊断和质量监测平台。一个最大功率为2000 W的Raycus连续光纤激光器作为热源，发射波长为1080 nm的激光光。在沉积过程中，Ni60A粉末通过粉末进料器输送到同轴喷嘴，氩气作为保护介质。高速相机和热成像仪分别用于捕获熔池视频和温度场信息。

结论与未来工作

本研究提出了MSLDPN，这是一种新颖的多模态时空网络，用于在标签稀缺条件下进行LMD中的裂纹诊断和质量监测。该方法在混合监督框架内整合了熔池视频和热数据，解决了实际监测中的关键挑战：定义“无裂纹”的基线类别，减少了对大量注释的依赖，并解决了跨异步模态的时间不对齐问题。实验表明，MSLDPN实现了高

CRediT作者贡献声明

许振英：监督、概念化、资金获取、撰写——原始草稿。杨月：撰写——原始草稿、方法论、概念化。陈超：监督。王昌：数据整理。吴子谦：撰写——审阅与编辑、验证、调查、监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争财务利益或个人关系。

致谢

本工作得到了中国国家重点研发计划（项目编号2023YFB4604300）和江苏省属高校基本科研经费（项目编号25KJD460001）的支持。