《Engineering Applications of Artificial Intelligence》：Multi-feature recognition of weld defects with an ultrasonic signal-image-joint machine learning fusion model
编辑推荐：
焊接缺陷智能识别方法研究及信号-图像联合模型构建。
Jiaxin Hu|Dengcai Zhao|Xiaochuan Liu|Li Liu|Siwen Lei|Changmao Li|Jingqi Yang|Jinggang Qin|Chao Zhou
安徽科技大学机电与电气工程学院，中国淮南232001
摘要
焊接缺陷的定性识别对于在役焊接部件的安全使用和寿命评估至关重要。尽管利用机器学习进行智能缺陷识别已经受到了广泛关注，但现有方法通常存在缺陷类型有限、数据集较小以及依赖单一特征源的问题。因此，其识别精度对于实际工业应用来说仍然不足，尤其是在遇到新的和复杂的缺陷模式时。为了解决这些挑战，本研究提出了一种信号-图像联合机器学习融合模型（SIJ-MLF），该模型使用从奥氏体不锈钢焊接样本中收集的大规模数据对焊接缺陷进行分类。该方法整合了从缺陷脉冲信号和图像中提取的多种特征，并引入了自适应滑动窗口和特征选择技术以进一步提高识别性能。对比分析表明，当在全新的实际样本上进行测试时，所提出的方法能够达到高达96%的稳定识别精度。此外，基于这项工作还开发了一种智能识别软件，展示了其在可靠和高效工业检测中的潜力。
引言
焊接是一种重要的制造工艺，用于连接两种或更多类型的金属或非金属材料。它广泛应用于压力容器、铁路、建筑结构、核设施、能源、航空航天等高科技行业。在焊接过程中，由于参数不正确、空气中的湿度变化或组装不准确等原因，可能会出现缺陷。这些缺陷是一个主要问题，因为它们可能导致材料失效、重大经济损失和安全风险（Chabot等人，2020年；Honarvar和Varvani-Farahani，2020年）。因此，检测和准确评估焊接缺陷是工业生产质量控制的关键方面（Hou等人，2019年；Jacques等人，2006年；Windsor等人，1993年）。典型的内部焊接缺陷包括裂纹（CK）、气孔（PO）、夹渣（SI）、未熔合（LP）和未穿透（LF）。这些缺陷对焊接部件的质量构成不同程度的风险。裂纹是最严重的缺陷，因为它们在应力作用下会扩展，从而影响焊接接头的强度、刚度和韧性。未熔合和未穿透统称为不良熔合缺陷，发生在焊接材料未能完全熔合或穿透厚度时。气孔是指由被困气体引起的缺陷。夹渣则是由于杂质被卡在焊接内部而产生的（Lancaster，1980年；Amirafshari等人，2018年）。
超声波检测是一种有效的无损检测方法，用于检测内部缺陷。传统上，超声波检测中的缺陷识别依赖于人工检查员观察缺陷回波的幅度和形状。这种方法往往效率低下且不可靠，尤其是在需要对焊接结构进行定性评估时。因此，迫切需要实现自动和准确的缺陷分类。最初，主要是通过从A扫描信号中提取和分析特征来进行缺陷识别。例如，（Hu等人，2018年）提出了一种基于一维局部二值模式（1-D LBP）算法的方法来提取超声波缺陷信号的特征，并进行了多类缺陷分类，实现了98.3%的准确率，用于分类钢板对接焊中的夹渣、气孔和未完全穿透。K. Sudheera等人（Sudheera等人，2013年）应用卷积神经网络（CNN）对超声波信号中的焊接缺陷进行分类，使用五种不同的架构来识别未熔合、未穿透和气孔，准确率为66.69%。其他研究（Chen等人，2023年；Cruz等人，2017年；Murta等人，2018年；Guo等人，2022年；Sambath等人，2011年；Wu和Zhu，2023年）采用了人工神经网络（ANN）、支持向量机（SVM）和k最近邻等机器学习方法，自动识别和分类3或4种类型的缺陷，平均识别准确率在75%到95%之间。尽管使用A扫描信号的机器学习方法具有高精度，但仍存在显著挑战。其中一个挑战是，有效A扫描间隔的确定依赖于手动、非标准化的选择。此外，由于缺陷的大小、方向和形状不同，信号特征往往会发生变化。
随着计算机技术的进步，越来越多地使用机器学习方法对超声波图像进行缺陷分类研究（Yang等人，2020年；Yun等人，2021年；Song等人，2021年）。超声波图像揭示了关于缺陷的结构特征和大小的信息。例如，在金属焊接缺陷检测中，可以使用S扫描图像来评估缺陷的位置和大小。一些研究表明，通过增强通过超声波获得的缺陷图像，可以提取的特征用于训练缺陷分类网络。根据数据集的规模，分类准确率在70%到95%之间（Yuan等人，2020年；Posilovi?等人，2021年；Medak等人，2021a）。例如，Yuan等人从35张超声波B扫描图像中提取了局部和全局特征，并使用这些特征训练了两个分类网络，实现了93%的平均检测准确率。同样，其他研究也报告了在缺陷识别和分类方面的高准确率（Sun等人，2019年；Moura等人，2004年；Lalithakumari等人，2012年；Medak等人，2021b；Chen等人，2020年）。
尽管取得了这些成就，但在实际应用中仍存在严重的担忧，尤其是在实际工件中观察到的大量非典型缺陷方面。当前的智能识别方法主要集中在单张图像或脉冲信号上。因此，依赖单一数据模态（无论是信号还是图像）限制了特征的表示丰富性，导致分类准确率低和模型鲁棒性差，而融合互补的信号和图像信息可以显著提高性能。总之，当前的超声波焊接缺陷识别研究仍面临三个主要挑战：（i）信息丰富的A扫描间隔的手动和非标准化选择；（ii）许多可用数据集中缺陷类别的覆盖范围和规模有限；（iii）依赖单一模态表示（仅信号或仅图像），这难以泛化到实际工业部件中的非典型缺陷。
除了这些研究之外，最近还提出了一些基于机制辅助和知识转移的学习框架，以进一步将先验物理知识与数据驱动模型结合，用于工业状态监测和无损评估。例如，Wang等人开发了一个基于机制辅助的双层知识转移框架，用于定量评估管道腐蚀状况，其中高保真磁通量泄漏（MFL）模拟和双层域适应共同用于将知识从模拟数据转移到实际腐蚀数据（Wang等人，2025a）。Wang等人还引入了一种基于双偏置神经网络（KTR-BUNN）的知识转移和强化方案，用于开放集故障转移诊断，其中域偏置知识转移子网和类偏置知识强化子网共同优化，以在复杂操作条件下减轻域偏置和类偏置（Wang等人，2025b）。同时，Shen等人提出了一个面向任务的物理协作网络（TOPC-Net），通过将任务相关的物理先验信息嵌入到多任务深度网络中，同时模拟MFL检测中的缺陷检测和尺寸量化（Shen等人，2025）。总的来说，这些工作表明，结合机制知识与先进的表示学习是提高智能检测的泛化和可解释性的有效策略。然而，它们主要针对管道MFL系统或通用旋转机械故障，并没有特别解决本研究调查的超声波焊接缺陷分类或信号-图像多特征融合问题。
为了解决上述问题，本研究提出了一种信号-图像联合机器学习融合模型（SIJ-MLF），用于超声波焊接缺陷分类。与大多数依赖单一模态或将融合视为简单特征连接的现有方法不同，SIJ-MLF采用了一种双层架构，明确模拟了超声波脉冲信号和焊接图像的互补作用。在第一层中，应用自适应滑动窗口和几何感知的特征提取来从脉冲信号构建特定于缺陷的表格描述符，而从相应的焊接图像中提取纹理和梯度特征。信号分支包括五个专用回归子网络，其输出被转换为校准的置信度分数，而图像分支生成缺陷类型的概率分布。在第二层中，这十个置信度/概率值通过BPNN融合，生成最终的焊接缺陷标签。这种设计将超声波传播和缺陷形态的先验知识嵌入到工程化的多特征表示中，同时仍然利用数据驱动的学习在决策层面。此外，还进行了Shapley加性解释（SHAP）分析，以解释学习到的模型并将最具影响力的特征与物理检测机制联系起来。在包含五种常见缺陷类型和大量来自实际工件的非典型缺陷的大规模奥氏体不锈钢焊接数据集上的广泛实验表明，SIJ-MLF的识别准确率达到了96%。
数据准备
所有五种缺陷类型——裂纹（CK）、气孔（PO）、夹渣（SI）、未穿透（LP）和未熔合（LF）——都是在受控焊接条件下使用相同的超声波检测设备和相同的扫描参数引入的。超声波探头的中心频率为5 MHz，A扫描信号的采样率为50 MHz。探头沿焊接方向以0.5 mm的步长扫描，确保每对信号-图像对应于可比的情况
架构概述
在本研究中，SIJ-MLF模型将从脉冲信号和图像中提取的特征作为输入，分别送入第一层的回归和分类网络。然后，将十个百分比格式的输出融合并送入第二层，以获得最终的分类结果。模型的整体架构示意图如图6(a)所示。该图展示了两个主要工作部分，分别对应于信号和图像。
分类结果
本研究旨在识别实际焊接部件中的五种缺陷类型，即气孔、夹渣、裂纹、未穿透和未熔合。共使用了10,000组这五种类型的缺陷样本来训练网络，并从不同的工件中收集了1,000组新的五种类型自然缺陷数据。
为了全面评估模型的泛化能力，这些新收集的数据被分为四个独立的验证集，以便
结论
在这项研究中，我们提出了一种信号-图像联合机器学习融合模型（SIJ-MLF），用于自动分类奥氏体不锈钢焊件中的五种常见焊接缺陷类型。通过整合来自脉冲信号的自适应滑动窗口和基于特征选择的描述符以及来自S扫描图像的纹理特征，SIJ-MLF通过浅层BPNN融合了两种模态的特定于缺陷的置信度。在四个独立的自然缺陷验证子集上，该模型
CRediT作者贡献声明
Jiaxin Hu：写作——审稿与编辑，撰写——原始草案，方法论，数据管理，概念化。Dengcai Zhao：数据管理。Xiaochuan Liu：监督，方法论，概念化。Li Liu：监督，概念化。Siwen Lei：数据管理。Changmao Li：数据管理。Jingqi Yang：数据管理。Jinggang Qin：监督，概念化。Chao Zhou：概念化。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
Jiaxin Hu 安徽科技大学博士，目前正在攻读博士学位。研究兴趣包括数据挖掘、算法开发和大数据分析。
