迈向多模态水下目标检测:一种双向特征重构网络及视觉-声纳数据集

《Expert Systems with Applications》:Towards multimodal underwater object detection: A bidirectional feature recomposition network and visual-sonar dataset

【字体: 时间:2026年02月24日 来源:Expert Systems with Applications 7.5

编辑推荐:

  针对现有直接工具磨损监测(D-TCM)方法在预测能力及标注数据稀缺性上的不足,提出多模态磨损识别与预测模型(MRP),通过不确定性引导的像素级加权(MSU)、原型特征增强(PFE)和时序偏差加权(TDU)策略,实现仅需个位数标注样本的全周期磨损预测,实验验证其性能显著优于现有半监督基线。

  
Saixiyalatu Bao|Zhongze Han|Linran Chen|Zichen Qiu|Chaoyong Zhang
华中科技大学机械科学与工程学院,中国湖北武汉430074

摘要

目前的直接工具状态监测(D-TCM)方法主要局限于磨损识别和测量,缺乏对磨损进展的预测能力。此外,在实际加工环境中获取足够的标注磨损数据成本高昂且具有干扰性。尽管半监督TCM研究已经开始利用未标注数据来应对标签稀疏问题,但在工具生命周期中只有少数标注信息的极端情况下,这一领域尚未得到充分探索。为了解决这些问题,本研究旨在提出一种多模态铣刀磨损识别与预测模型(MRP),该模型包括一个用于从图像中分割磨损区域的识别分支(RB)和一个基于RB获取的历史时间序列数据预测未来磨损序列的预测分支(PB)。在RB中,引入了一种新的多源不确定性引导的像素级加权策略(MSU),通过结合模型和数据的不确定性动态重新加权分割损失,从而优先考虑可靠的伪标签,同时抑制噪声或模糊区域。此外,RB中嵌入了一个原型特征增强(PFE)模块,从稀疏标注的特征中提取出具有磨损特性的判别性表示。在PB中,开发了一种时间偏差不确定性引导的样本级加权策略(TDU),用于识别和强调磨损进展明显的序列,在标签极度稀缺的情况下提高预测准确性。实验结果表明,通过MSU、PFE和TDU的协同集成,MRP模型在工具生命周期中仅有少数标注样本的情况下,显著优于现有的半监督基线方法,实现了高精度的工具磨损识别和渐进式预测。

引言

工具磨损是工业自动化和制造中的一个关键问题,因为它直接影响设备利用率、生产成本和产品质量(Kong, Chen, & Li, 2018)。特别是铣刀的磨损——由于其在现代加工中的多功能性和高效性而被广泛使用——可能导致切削力增加,甚至引起机床颤振,严重降低工艺稳定性和生产效率(Che, Peng, Liao, & Wang, 2024)。因此,可靠的工具状态监测(TCM)方法对于维持最佳机床性能和确保智能制造系统的生产效率至关重要(Cohen, Bachar, Matania, Bortman, 2025, Wang, Li, Lu, Liao, Lu, 2025b, Zhou, Xia, Li, Xu, Si, Xi, 2025)。然而,现有的TCM方法严重依赖于大量带有精确人类标注的训练数据,这些数据的收集成本高昂且耗时。这一限制凸显了迫切需要能够在标签稀缺的情况下有效运行的强大半监督学习(SSL)方法,以便实现可扩展和成本效益高的TCM(He, Yang, & Qi, 2021)。
工具磨损通常表现为多种形式,如侧面磨损、前刀面磨损、刃口磨损等。本研究特别关注铣刀,其磨损程度通常通过侧面磨损宽度(VB)来评估(Wang, Jin, Zhao, Niu, & Guo, 2021)。根据国际标准,当最大VBVBmax)超过0.5毫米或平均VBVBavg)超过0.3毫米时,通常认为工具发生故障。值得一提的是,VBmax是最常用的表示铣刀磨损的形式(Liu, Li, Li, & Hua, 2021)。
现有的TCM技术大致可以分为间接方法和直接方法。间接方法依赖于传感器数据,如切削力、振动和声发射信号来评估工具磨损状况(Cheng, Lu, Gai, Guan, Zhou, Xue, 2024, He, Xu, Pan, Wang, 2024, Lai, Zhang, Zheng, Zhao, Ding, Tang, Li, 2024, Warke, Kumar, Bongale, Kotecha, 2024, Xie, Gao, Zhang, Liu, 2024, Xie, Zhu, Dai, Zhang, 2025)。然而,这些方法面临显著挑战,包括对工作条件(如材料属性、切削参数和环境噪声)的高敏感性,这影响了它们的泛化和可靠性。因此,本研究不考虑间接方法。
相反,D-TCM方法具有独特的优势,包括非接触操作、直观控制和抗信号干扰能力。为了说明这些优势,已有大量研究进行了探索。例如,Yu, Cheng, Lu, & Wu (2021) 提出了一种用于测量钻头刃口磨损的D-TCM方法,该方法通过局部方差阈值分割提取钻头的全轮廓,并通过计算提取轮廓上的像素数量来测量磨损。Guo等人(2024a)提出了一种基于HPO优化的Otsu算法,用于工具磨损评估和加工过程质量控制,解决了传统图像识别方法在识别弹性基体磨料工具磨损模式时的挑战。类似地,Chen等人(2024a);Lin & Tsai (2025);Schlegel, Molitor, Kubik, Martin, & Groche (2024);Zhao等人(2024a)将先进的图像处理和深度学习算法结合起来,以准确检测和量化磨损特征。
尽管有这些潜力,大多数现有的D-TCM方法主要局限于工具磨损识别和定量测量,缺乏预测工具磨损进展的预测能力。这一限制源于它们依赖于静态图像分析,仅捕捉到瞬时的磨损状态,而没有对加工周期中的退化过程进行建模。因此,这些方法无法建立当前视觉特征与未来磨损趋势之间的预测关系,从而阻碍了它们在智能制造系统中的主动维护和实时决策中的应用。
此外,实际的D-TCM场景在获取标注数据方面存在重大障碍。工具磨损标注需要专家知识、重复的微观检查以及在不同退化阶段频繁中断以捕获图像——所有这些都会耗费大量时间和成本。此外,实际加工环境中磨损进展的连续性、非线性和随机性使得在每个采样时刻进行精确标注变得复杂。结果,大多数TCM数据集主要由运行期间收集的未标注数据组成,只有少量数据被标注——这是一个典型的标签稀缺场景,严重限制了依赖大量标注的完全监督模型。尽管先进的半监督TCM方法(Mo, Mei, Hu, 2025, Niu, Liu, Wang, 2025, Shu, Xu, He, Yang, Zhao, Huang, 2024)已经开始通过结合未标注样本来解决标签稀疏问题,但据我们所知,它们在标签极度稀缺的情况下(即整个工具生命周期中只有少数标注样本(
解决这一极端标签稀缺挑战的一个有前景的方法是充分利用数据和模型预测中固有的不确定性。在TCM的背景下,数据不确定性源于磨损进展的随机性和非线性特性,其中加工条件的微妙变化、成像伪影或照明可能会使即使对于相同的磨损状态,视觉线索也变得模糊。另一方面,模型不确定性反映了在稀疏标注上进行训练时的认知局限性,表现为特征空间中受限区域的高预测方差。最近在SSL方面的进展表明,明确建模这两种不确定性可以作为一种强大的信号,用于识别可靠的伪标签,同时抑制噪声或无信息的样本(Chao et al., 2025)。
基于上述分析,当前的D-TCM方法面临两个主要限制:(1)仍然局限于磨损识别和测量,缺乏对工具磨损进展的预测能力;(2)TCM中的极端标签稀缺问题尚未得到充分探索。认识到这些差距,本研究开发了一种新的方法,将机器视觉技术与预测建模相结合,提高了在极端标签稀缺场景下的预测准确性和实际应用性。值得注意的是,据我们所知,这是首次尝试仅使用整个工具生命周期中少数标注的图像(
  • 1.
    提出了一种新的多模态工具磨损识别与预测(MRP)模型,这是首次尝试同时赋予D-TCM预测能力,并使其能够在整个工具生命周期中仅使用少数标注样本有效运行。
  • 2.
    在极端标签稀缺场景中,将一种新的多源不确定性引导的像素级加权策略(MSU)集成到RB中,该策略同时考虑了模型和数据的不确定性。
  • 3.
    在极端标签稀缺场景中,将一种新的时间偏差不确定性引导的样本级加权策略(TDU)集成到PB中。
  • 4.
    开发并嵌入了一种原型特征增强(PFE)模块,用于在极端标签稀缺场景中学习具有磨损特性的特征。
  • 部分摘录

    D-TCM

    近年来,由于D-TCM的非接触操作和抗信号干扰的固有优势,相关研究激增。Zhang & Zhang (2013) 使用CCD相机捕获高分辨率图像,通过拟合高斯曲线到边缘强度梯度来识别工具尖端坐标和磨损区域,实现了亚像素精度。类似的努力已将机器学习应用于切削刀片上的磨损分类(Pimenov, Bustillo, & Mikolajczyk, 2018)

    概述

    图1展示了多源不确定性引导(MSU)多模态工具磨损识别与预测(MRP)模型的概览,各模块的详细描述将在以下小节中给出。如第1部分所示,使用先前开发的自动化数据采集平台(Bao, Chao, Zhang, Li, & Li, 2025)获取了工具侧面和底部表面的磨损图像。为了实现半监督训练,训练集是通过结合稀疏数据构建的

    实验平台

    如图2所示,两个工业相机被放置在MLV 600机床内的图像采集点,该机床采用FANUC控制系统操作,用于获取切削工具侧面和底部表面的磨损图像。加工实验使用了硬度为70 HRC的四刃碳化钨端铣刀来加工H13模具钢。在实验过程中,G代码被编程为在刀具 traversing 后将其重新定位到图像采集点

    结论

    当前的D-TCM方法在磨损识别方面表现出色,但在预测建模方面存在不足,并且标注成本较高,导致极端标签稀缺问题尚未得到解决。因此,本研究提出了MRP模型,该模型结合了带有MSU和PFE的RB以实现精确的工具磨损识别,以及带有TDU的PB以实现渐进式磨损预测。RB在3×9设置下的平均准确率超过75%,即使在最受限的3×3设置下也超过36%。

    CRediT作者贡献声明

    Saixiyalatu Bao:方法论、软件、验证、可视化、撰写——原始草稿、审阅与编辑。Zhongze Han:形式分析、数据管理。Linran Chen:撰写——审阅与编辑。Zichen Qiu:调查、概念化。Chaoyong Zhang:监督、资金获取、资源管理、项目行政。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    知名企业招聘

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号