一种基于多尺度点特征的3D异常检测方法，用于检测汽车冲压件中的缺陷

《Journal of Manufacturing Processes》：A 3D anomaly detection method based on multiscale point features for defects in vehicle stamped parts

针对车辆冲压部件光照敏感的2D图像异常检测难题，本文提出基于3D点云的多尺度特征异常检测方法MP3D。通过局部聚合模块提取不同尺度特征，并设计3D异常生成策略解决样本不足问题，同时改进交叉熵损失处理类别不平衡。实验表明MP3D在MVTec 3D-AD和自建数据集上样本和点级检测均有效。

　　

刘毅|张长生|董星军|杨宇飞

东北大学软件学院，沈阳，110167，中国

摘要

在车辆冲压零件的生产过程中，冲压金属板材可能会出现与名义几何形状的局部偏差，即缺陷。这些缺陷的可见性受到光照条件的影响，基于图像的异常检测方法无法有效检测出异常的冲压零件。为了解决光照对检测结果的影响，本文以冲压零件的三维（3D）点云作为研究对象，提出了一种基于多尺度点特征的3D异常检测方法（MP3D）。为了提取多尺度点特征，本文设计了一个局部聚合模块。该模块实现了无序点的特征聚合，聚合后的点特征具有更大的感受野。不同感受野的特征被合并用于多尺度异常检测。此外，本文还设计了一种3D异常生成策略，通过构建局部缺陷来生成多样化的异常样本。由于异常检测任务需要对样本中的每个点进行分类，因此正常点与异常点的数量存在不平衡。本文改进了异常检测任务的交叉熵损失函数。为了评估所提出的MP3D方法的性能，本文在MVTec 3D异常检测（MVTec3D-AD）数据集和一个真实的冲压零件数据集上进行了广泛的实验。实验结果表明，MP3D在样本级别和点级别上都实现了有效的异常检测性能。

引言

工业异常检测旨在发现工业产品上的异常区域，是智能制造中的一个重要研究课题。在汽车制造中，冲压是一个关键工艺。在车辆冲压零件的生产过程中，金属板材被固定在模具上并压制成所需的汽车零件。然而，模具的长期使用可能导致工作表面出现微小的凹凸或磨损。此外，铁屑、沙粒等可能附着在模具或金属板材的表面上。这些因素可能导致冲压金属板材与名义几何形状的局部偏差，即缺陷，如图1所示。这些缺陷主要是大约1厘米大小的凹坑和凸起，而冲压零件的长度超过100厘米。冲压零件是汽车车身结构的重要组成部分，其质量直接影响汽车的稳定性和安全性。有效的汽车冲压零件异常检测可以提高汽车质量并减少后续制造环节中的材料浪费。

近年来，基于深度学习的工业异常检测[1]、[2]、[3]受到了广泛关注。在工业生产中，缺陷的发生是不确定的，且无法收集到所有类型异常样本。此外，在标准化生产中，生产产量较高，收集足够的异常样本进行模型训练是一个耗时且劳动密集的过程。由于缺乏异常样本，现有方法通常采用无监督学习框架，即在模型训练过程中仅使用正常样本，而在模型测试中同时使用正常样本和异常样本。现有方法主要基于二维（2D）图像。朱等人[4]设计了一个教师模型和一个学生模型，并仅使用正常样本对学生模型进行训练，以教师模型和学生模型之间的多尺度特征相似性作为异常得分。Roth等人[5]使用预训练模型提取所有正常样本的特征，并构建了一个特征记忆库。在测试中，使用测试样本特征与记忆库特征之间的最小距离作为异常得分。张等人[6]将正常样本特征映射到超球面特征空间，并使用测试样本特征与超球面中心之间的距离作为异常得分。江等人[7]随机遮盖输入图像区域以模拟异常区域，并使用Swin Transformer[8]重建遮盖区域。在测试中，使用输入图像与重建图像之间的差异进行异常检测。

已经提出了多种基于2D图像的异常检测方法[9]、[10]、[11]，但这些方法在工业应用中对光照条件有严格要求。不同的光照条件会影响获取图像的质量，尤其是对于表面光滑的车辆冲压零件。在冲压过程中，冲压零件上可能会出现缺陷，而这些缺陷的可见性会受到光照条件的影响。图1展示了在不同光照条件下相同异常冲压零件的图像。在光照条件I下，图像中可以清晰地看到缺陷；而在光照条件II下，该缺陷的可见性降低甚至消失。对于车辆冲压零件的异常检测任务，基于图像的异常检测方法受到光照条件的影响，难以达到预期的检测性能。

最近，基于点云的深度学习受到了广泛关注，并已应用于机器人抓取[12]、[13]、[14]、自动驾驶[15]、[16]、[17]等各种任务。在工业中，点云主要通过3D视觉传感器获取，常见的有立体视觉相机、结构光相机和激光雷达（LiDAR）。立体视觉相机使用两个或多个镜头从多个角度捕捉物体，并根据不同视角下同一点的位置偏差计算物体与镜头之间的距离。结构光相机将图案化的光投射到物体表面，并根据反射图案计算距离。激光雷达通过测量激光发射到接收的时间来计算物体距离。与立体视觉相机和结构光相机相比，激光雷达可以在更远的距离上捕获物体的点云，但激光雷达的成本较高。点云是一组三维空间中的点，描述了物体的表面形状信息。与2D图像相比，点云不受光照条件的影响。因此，本文以车辆冲压零件的点云作为3D异常检测的研究对象。

现有的基于点云的方法[18]、[19]通常使用最近点采样（FPS）[20]为每个样本定义多个中心点，并将每个中心点及其最近固定数量的点作为一个点组。每个点组被提取为一个点特征，代表该点组覆盖的区域的信息（即感受野）。对于大型物体，需要设置较大的感受野，这意味着每个点组包含更多的点；而对于小型物体，则需要设置较小的感受野。在点云任务中，通常使用具有单一感受野的点特征。然而，在图像任务[21]、[22]、[23]中，经常使用卷积网络和最大池化将多个具有小感受野的特征聚合为一个具有较大感受野的特征。然后，融合不同感受野的特征以识别不同大小的物体。对于具有不同大小异常区域的车辆冲压零件，将具有不同感受野的点特征进行聚合有助于实现多尺度异常检测。

对于车辆冲压零件，本文提出了一种基于多尺度点特征的3D异常检测方法，称为MP3D。为了提取多尺度特征，本文设计了一个局部聚合模块。基于原始点坐标，该模块将多个具有小感受野的点特征聚合为一个具有较大感受野的点特征。然后，MP3D将不同感受野的特征进行聚合以实现多尺度异常检测。此外，由于缺乏异常样本，本文还设计了一种3D异常生成策略。通过构建局部缺陷，该策略能够生成多样化的异常样本。正常样本和生成的异常样本一起用于MP3D训练，训练损失是每个点的二元分类损失。由于正常点的数量远多于异常点的数量，本文改进了交叉熵损失函数以解决类别不平衡问题。本文的主要贡献总结如下：

• (1)
  本文提出了一种基于多尺度点特征的3D异常检测方法MP3D，并设计了一个局部聚合模块来提取多尺度点特征。
• (2)
  本文设计了一种可以生成多样化车辆冲压零件异常样本的3D异常生成策略。
• (3)
  本文改进了交叉熵损失函数以解决异常检测任务中的类别不平衡问题。
• (4)
  所提出的MP3D在MVTec 3D-AD数据集[24]和一个自收集的冲压零件数据集上进行了实验。实验结果表明，MP3D在样本级别和点级别上都实现了有效的3D异常检测性能。

本文的其余部分组织如下：第2节回顾了相关的2D异常检测方法和3D异常检测方法。第3节详细介绍了3D异常生成策略和所提出的MP3D框架。第4节讨论了MP3D在MVTec 3D-AD数据集和一个真实冲压零件数据集上的有效性。第5节对本文进行了总结。

相关工作

相关研究

工业异常检测任务旨在检测产品中是否存在异常区域并对异常区域进行分割。由于缺乏异常样本，异常检测方法通常采用无监督学习框架。目前，工业异常检测主要基于2D图像，基于3D点云的研究仍然有限。本节分别回顾了相关的2D异常检测方法和3D异常检测方法。

3D异常生成策略

在车辆冲压零件的生产过程中，出现异常冲压零件的概率较低。收集足够的异常样本进行深度学习模型训练非常困难。因此，本文提出了一种3D异常生成策略来生成异常样本。

对于车辆冲压零件，主要的异常是凹坑和凸起，即局部表面凹陷和凸起。图2可视化了异常冲压零件的点云。

数据集

实验在一个自收集的冲压零件数据集和MVTec 3D-AD数据集上进行。对于自收集的冲压零件数据集，每个冲压零件实际上是由一家汽车公司生产的。数据集采集设备如图6所示，包括一个支架和两个3D激光雷达相机（LJ-X8400）。一次扫描后，3D相机输出整个冲压零件的点云，其格式为12000 × 3200像素的深度图像。每个像素的值是

结论

对于车辆冲压零件的缺陷，本文提出了一种基于多尺度点特征的3D异常检测方法，称为MP3D。MP3D聚合了不同感受野的点特征，并对样本中的每个点进行二元分类以实现3D异常检测。为了提取多尺度特征，本文设计了一个局部聚合模块，该模块将多个中心点特征聚合为一个具有较大感受野的中心点特征。此外，

作者贡献声明

刘毅：撰写——原始草案、可视化、验证、方法论。张长生：撰写——审阅与编辑、监督。董星军：撰写——审阅与编辑、可视化、方法论。杨宇飞：撰写——审阅与编辑、可视化、验证。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。