RoCA：一种用于无监督异常检测的鲁棒对比适应算法

《Pattern Recognition》：RoCA: Robust Contrastive Adaptation for unsupervised anomaly detection

　　徐坦|陈超辉|高海东|杨宇|梁荣华
浙江科技学院计算机科学与技术学院，中国浙江省杭州市刘河路318号，310023

**摘要**
基于特征重建的无监督异常检测方法通过目标域适应取得了显著进展。然而，这些方法通常依赖于单一的、不可靠的度量标准，并且缺乏明确的判别性监督，这使得区分细微异常和复杂正常模式变得困难。为了解决这些问题，我们提出了RoCA（鲁棒对比适应）这一新颖的教师-哨兵-学生框架，将异常检测重新定义为一种多视角协作过程。一个固定的教师网络为正常特征提供稳定的参考，而一个可训练的哨兵网络通过对比学习来放大和揭示异常。此外，一个可训练的学生网络在具有不确定性意识的监督下学习重建输入，使其与正常数据的模式对齐。RoCA通过两个协同目标缓解了对抗正常变化鲁棒性和对细微异常敏感性之间的核心权衡：（1）教师-哨兵对比学习使正常特征相似，异常特征明显；（2）学生重建学习强制高保真地恢复正常模式。在具有挑战性的工业基准测试中的实验表明，RoCA在检测细微和低对比度缺陷方面取得了具有竞争力或最先进的性能。

**引言**
无监督图像异常检测（UIAD）[1][2]旨在仅通过训练正常数据来检测和定位图像中的异常。这不仅避免了昂贵且有偏的异常标注[3][4]，而且作为一种主动方法，能够提前发现未知或未预见的异常[5][6][7][8]。基于特征嵌入的方法在UIAD中占主导地位。其核心思想是正常图像在特征空间中有相似的表示，而异常图像在特征空间中有显著偏离。一种直接的方法是从正常图像中提取特征以构建特征库，然后比较测试图像的特征——如果差异显著，则测试图像可能是异常的[9][10][11]。或者，可以在一类分类设置中学习决策边界[12]来表示正常图像的特征，或将它们映射到特定的统计分布图[13]，然后通过评估测试图像与其的偏差程度来判断异常。这些方法提供了强大的判别能力和定位能力，但严重依赖于特征提取器的质量，从而影响了适应性。为了提高特征质量，基于蒸馏的方法[3][14]使用学生网络来模仿预训练的教师网络处理正常数据。然后通过教师网络和学生网络特征之间的巨大差异来识别异常。然而，如果学生网络简单地复制教师网络的行为，可能会发生过度泛化。基于重建的方法通过将核心目标从“模仿教师特征”转变为“重建正常特征”来解决这个问题。如图1所示，它们通过非对称网络架构[15]、对比学习[16]或额外的专家网络[17]来实现这一点。由于仅在严格正常的数据上训练，模型学会了仅适用于正常特征的重建能力，导致异常产生明显的高重建误差。

尽管取得了显著进展，但基于特征重建的方法在现实世界的工业场景中遇到了两个主要限制。首先，它们依赖于一个单一的、往往不可靠的度量标准——重建误差，这在视觉上差异明显的案例中表现不佳。具有复杂纹理、自然变化或强烈镜面反射的硬正常样本[18][19]本质上会产生高重建误差，导致高误报率。相反，像轻微划痕、轻微变色或微小结构偏差这样的细微异常可能在特征空间中只引起最小的扰动[7]。其次，编码器仅接受间接和非判别性的监督，仅训练以最小化正常数据上的重建误差。没有明确的异常指导，学习到的特征空间对于区分缺陷来说并不理想。

为了解决这些挑战，我们提出了RoCA（鲁棒对比适应），这是一个新颖的教师-哨兵-学生框架，将异常检测重新定义为一种协作的、多视角的过程，而不仅仅是一个单一网络的重建任务。RoCA包括：（1）一个固定的教师网络，提供来自源域的稳定参考特征；（2）一个可训练的哨兵网络，通过将目标样本与教师样本进行对比来突出异常；以及（3）一个可训练的学生网络，在具有不确定性意识的监督下学习重建输入，并与正常数据的模式对齐。

**哨兵网络**强调其作为专用“监视者”的角色：它被明确优化为相对于固定的教师锚点放大异常的可分离性，而不是作为一个通用的域适应编码器。这种设计还分离了UIAD中两个经常冲突的目标——对细微缺陷的敏感性（哨兵）和对硬正常变化的鲁棒性（学生）。

RoCA由两个互补的学习目标驱动：（1）教师-哨兵对比学习，鼓励正常样本的表示对齐，同时将异常样本的表示分开，从而促进对域敏感的异常编码；（2）学生重建学习，强制高保真地恢复正常内容，同时降低不确定区域的权重，增强对细微或难以区分的异常的鲁棒性。这些组件共同使RoCA能够检测到多样化和细粒度的异常，并在不同领域之间提高泛化能力。

**总结**
我们的贡献如下：
• 我们提出了一个新颖的教师-哨兵-学生框架，将异常检测视为一个协作的、多视角的过程，而不仅仅是一个单一网络的重建任务。
• 我们设计了教师-哨兵对比学习，使正常样本的表示更接近，同时将异常样本的表示进一步分开，从而促进对域敏感的异常编码。
• 我们引入了学生重建学习，它充当正常性恢复器。它采用了一种具有不确定性意识的机制来适应性地重建特征，从而能够抑制来自“硬正常”区域的重建误差，同时保留来自“细微异常”区域的真实信号，从而解决它们之间的固有混淆。
• 实验表明，我们的方法在检测细粒度缺陷方面取得了最先进的性能，特别是我们的哨兵能够可靠地识别通用模型遗漏的异常。

**相关工作**
UIAD旨在仅通过学习正常数据的分布来识别异常。由于异常的多样性和不可预测性，这项任务在工业成像领域特别具有挑战性。最近的研究主要集中在几个主流方向上，包括基于重建的方法、基于知识蒸馏的方法和基于对比学习的方法。

**初步工作**
我们使用异常合成方法[34]来提高检测能力。为了创建合理的异常形状和位置，我们首先使用Perlin噪声[35][36]生成二值掩码Mperlin。然后这些掩码被限制在对象Mfg的前景[37]中，Mfg是从图像中提取的，以确保异常仅出现在有意义的对象或区域中[37]。值得注意的是，Mfg是预先计算并离线缓存的。

**概述**
RoCA由三个组件组成：一个固定的教师网络提供稳定的正常表示，一个经过训练的哨兵网络通过对比监督放大异常敏感的偏差，以及一个通过具有不确定性意识的重建学习正常性投影器的学生网络。对比目标在表示空间中扩大了异常与正常之间的边界，而重建目标将输入投影到正常流形上，形成了互补的检测机制。

**哨兵网络**

**数据集**
实验使用了五个具有挑战性的工业异常检测基准：MVTec AD 2 [39]、BTAD [40]、MVTec [41]、VisA [42] 和 Real-IAD [43]。
MVTec AD 2是一个更具挑战性的基准，旨在解决性能饱和问题。它包括八个工业无监督异常检测场景，共有2528张训练图像、282张验证图像和5194张测试图像（1394张公开发布，3800张保密），总计8004张高分辨率图像。我们仅使用公开的数据。

**结论**
在本文中，我们介绍了RoCA，这是一个新颖的教师-哨兵-学生框架，解决了无监督异常检测中对细微缺陷的敏感性和对正常变化的鲁棒性之间的基本权衡。我们的主要贡献是一种协同学习范式，其中可训练的哨兵网络和学生解码器在固定教师网络的指导下协作。通过新颖的跨网络对比损失（LCNC），哨兵网络学会主动放大异常。

**作者贡献声明**
徐坦：概念化、方法论、软件、撰写——原始草稿、审阅与编辑。
陈超辉：数据整理、调查、方法论、软件、验证、撰写——原始草稿、审阅与编辑。
高海东：调查、方法论、验证、撰写——原始草稿、审阅与编辑。
杨宇：调查、方法论、验证。
梁荣华：资源、撰写——审阅与编辑、方法论。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作得到了中国自然科学基金（项目编号62406287和62506340）的支持。