基于跨领域混淆增强和自监督学习的竹筷子异常检测

《Engineering Applications of Artificial Intelligence》：Anomaly detection of bamboo chopsticks based on cross-domain mixup augmentation and self-supervised learning

　　

马乐|程志正|姚振杰|杜冠峰|孙凌芳

东北电力大学自动化工程学院，中国吉林132012

摘要

针对工业生产环境中一次性竹筷表面质量异常的视觉检测实际问题，本文提出了一种基于跨域混淆增强（CDMA）和自监督学习的应用导向型异常检测算法，以提高竹筷的生产检测质量。首先，提出了一种新颖的数据增强算法，该算法将与竹筷图像无关的跨域样本图像与正常样本图像结合，生成伪异常样本，推动模型学习。然后，提出了一种基于类内相关性检索和重构约束的自监督学习算法。该模型重构正常输入图像及其相应的类内图像，同时对伪异常图像添加规则项约束，使其重构误差不低于限定值，从而提高与正常样本的区分度。最后，利用最大局部误差生成异常分数进行检测。实验结果表明，该算法的检测准确率和速度性能达到了先进水平。

引言

筷子是中国和东亚地区的主要餐具。随着中国餐饮行业的快速增长，作为常用快速消费品的一次性竹筷质量对公众健康产生了巨大影响。因此，在生产过程中对竹筷的质量检测非常重要。尽管工业自动化技术发展较为成熟，但在竹筷质量检测的细分工作中仍严重依赖人工。主观评价和长期单调的工作导致手动检测效率低下、错误率较高且劳动力成本较高。计算机视觉技术可以解决上述手动检测的固有问题，并为竹筷检测自动化提供有效方法（Xian等人，2021年）。竹筷检测属于视觉表面缺陷检测类别。传统方法主要结合人工设计的特征和传统分类器作为基本研究路线，其中特征涵盖频率域、纹理、形态和局部描述符（Chen等人，2016年；Ke等人，2016年），分类器主要关注支持向量机模型（Koch和Brilakis，2011年）。此外，还建立了基于多特征和多分类器集成的集成学习方法来提高检测性能（Ma等人，2021年）。从分类角度来看，卷积神经网络（CNN）可用于识别测试区域图像中的缺陷（Chen等人，2022年；Baoyuan等人，2021年）。另一方面，Wei-gang等人（2020年）将此问题视为目标检测问题，并使用YOLO（You Only Look Once）等模型进行处理。U-Net（Lv等人，2020年）这种语义分割网络也被用于实现缺陷的像素级检测和定位。

然而，关于竹筷的视觉检测研究相对较少。如图1所示，竹筷图像具有以下特点：（1）它们的纹理较弱且不尽相同；（2）正常样本之间的差异导致形成多个簇；（3）异常图像中的缺陷出现在随机位置且类型多样；（4）微小缺陷样本可能与正常样本难以区分。这些特点使得检测竹筷上的缺陷变得具有挑战性。此外，前文提到的方法属于监督学习范畴，尤其是基于深度神经网络算法的方法需要大量正负标签样本。从数据角度来看，与正样本相比，异常样本较为稀少且分布不均，导致数据不平衡。同时，缺陷类型和位置在生产过程中随机出现，因此训练集和测试集中的缺陷样本分布并不完全相同。因此，传统监督方法并不完全适用于解决这类实际异常检测问题（Hu等人，2023年）。重要的是，这些难点并非竹筷场景所特有，在许多工业视觉异常检测任务中也存在类似挑战，例如木材表面检测、纺织品缺陷检测和晶圆缺陷检测，其中背景纹理较弱、正常样本形成多个簇、缺陷位置和类型高度随机、异常样本稀缺且标注成本高。这意味着竹筷表面缺陷检测可以被视为这类复杂工业表面异常检测问题的一个典型实例。因此，尽管本研究以竹筷为主要应用场景，但所提出的建模策略和数据构建方案具有推广到更广泛工业视觉异常检测任务的潜力。总之，在本工作中，我们将竹筷缺陷检测视为视觉异常检测问题（Cheng-Kan等人，2022年）。我们特别关注实际相关的场景，即异常样本稀缺、正常样本呈现多簇结构、许多缺陷微妙且难以与正常图案区分的情况。在此条件下，我们的目标是设计更具区分力的特征表示和训练策略，以提高模型在实际生产环境中的稳定性和鲁棒性。

与传统的监督学习不同，异常检测（也称为单类问题）仅关注与正常样本相关的条件。在训练阶段，检测器模型仅基于正常样本生成，不涉及任何异常样本。它将推断测试样本是否正常（Pang等人，2021年）。因此，将这一问题视为异常检测更贴近实际生产场景，缺陷的可能性相对较低。

传统的异常检测方法通常处理低维数据（Zhou等人，2022年），而深度学习已成为该领域的主流技术（Xing等人，2022年）。基于自动编码器的神经网络目前在这类技术中占主导地位。虽然自动编码器方法能够准确重构正常样本，但它们对某些异常样本也表现出良好的重构性能，从而影响了检测准确性。其原因在于异常样本与正常样本之间存在内在相似性，且仅使用一种样本类型进行训练限制了检测器的训练效果，导致缺乏有效的指导。因此，在异常检测的基本限制下，通过建立更多指标标准来指导训练是一种有效的提高性能的方法。

为了解决上述问题，本文提出了一种基于CDMA和自监督学习的图像异常检测方法。该方法使用与目标检测图像无关的一组图像生成伪异常样本，并设计了一个度量损失函数来区分伪异常样本和正常样本。此外，在正常样本集内部建立了自监督索引机制。最后，设计了一种基于平滑局部最大函数的AS计算方法来获得检测结果。具体贡献如下：

（1）与现有方法相比，所提出的伪异常样本生成方法操作更简单，生成的样本更加丰富且更接近真实异常图像。

（2）所提出的类内索引自监督机制在正常样本的特征之间建立了有效的关联，阻断了异常样本的检索路径，并为训练提供了指导信息，从而提高了检测准确性。

（3）基于平滑局部最大函数的AS计算方法避免了单点最大方法引起的平均误差和噪声峰值导致的低区分度问题，有助于提高检测准确性。

本文的其余部分安排如下：第2节介绍相关工作的基础；第3节详细阐述所提出的方法；第4节提供实验分析和性能比较评估；最后，第5节给出结论和未来工作方向。

节片段

图像数据增强

与传统的监督学习相比，异常检测的挑战在于缺乏异常样本信息，这使得难以建立模型训练所需的损失函数。通过数据增强技术生成伪异常图像是一种有效的途径，便于模型学习。除了通用数据增强方法（Yun等人，2019年；Zhang等人，2017年；DeVries等人，2017年）之外，还包括专门的图像异常检测方法

跨域混淆增强

缺乏异常样本信息使得检测器的设计和训练缺乏明确方向。为此，本文提出了一种生成伪异常样本的方法，并将其整合到训练过程中以缓解这一问题。与现有方法不同，该方法引入了与竹筷无关的图像集，与正常样本结合生成伪异常数据。

实验描述

如图2所示，测试数据来自自建的实验平台，该平台可以模拟实际生产场景，包括背景板、光源和视频摄像头。采集设置旨在匹配预期的工业应用场景。特别是采用了固定摄像头、黑色吸光背景布以及位置和照度可控的两种条形光源，以抑制无关干扰

结论

根据讨论和实验分析，我们可以得出以下结论：

（1）基于CMDA的异常样本增强方法可以在图像的全局范围内模拟多样的异常效应，有助于模型训练。

（2）基于类内索引和负样本约束的自监督学习方法可以在不增加额外计算或存储负担的情况下与正常样本建立内部关联

CRediT作者贡献声明

马乐：监督、资源协调、方法论、研究设计、资金获取、正式分析、数据整理、概念化。程志正：写作——审稿与编辑、初稿撰写。姚振杰：写作——审稿与编辑、验证。杜冠峰：写作——审稿与编辑。孙凌芳：写作——审稿与编辑。

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。

致谢

无。