《Kuwait Journal of Science》：Ficus carica leaf: phytochemical analysis, antioxidant and antibacterial activities
编辑推荐：
跨颜色空间映射与适配器微调的SAM-IAD框架在无监督异常检测中有效整合图像和特征残差，实现高精度异常分割。
陈一驰|陈斌|冼伟志|王俊杰|龚新怡|韩建文|陶宪
中国科学院成都计算机应用研究所，中国成都，610041
摘要
无监督视觉异常检测在智能制造中起着关键作用，其目标是通过仅使用正常样本进行训练来识别与正常模式的偏差。现有方法从图像或预训练特征中建模正常分布，忽略了细粒度和语义信息之间的互补性，这限制了异常分割的精度和泛化能力。为此，提出了一种名为SAM-IAD的新框架，旨在将图像和特征空间的知识有效注入到Segment Anything Model（SAM）中，以实现高质量的异常分割和检测。具体来说，首先通过提出的跨颜色空间映射获得由图像和特征残差表示的异常知识。随后，使用图像残差作为输入与特征残差进行交互，特征残差作为掩码提示，从而将特定的异常知识有效注入SAM中。此外，还在SAM的冻结图像编码器中引入了可学习的异常相关适配器，以实现高效微调，旨在保留SAM中的通用先验知识，以便能够精确分割各种异常对象。在MVTec AD、VisA和DAGM基准测试上的广泛实验结果表明，所提出的方法在异常检测方面取得了最先进的性能，特别是在异常分割方面表现出色。
引言
工业视觉异常检测是智能制造中的关键任务[1]，旨在识别图像中偏离正常标准的意外模式。它已广泛应用于各种工业场景，例如表面缺陷检测[2]、智能交通系统[3]、印刷电子检测[4]等。然而，异常样本的稀缺性和不确定性常常阻碍了监督方法在实际应用中的部署。因此，开发了仅使用正常样本进行训练的无监督异常检测方法，并引起了学术界和工业界的广泛关注。
对于无监督异常检测，基于重建的方法是主要选择，这些方法使用自动编码器（AE）[7]、[8]和生成对抗网络（GAN）[9]等模型来重建正常图像，然后利用重建误差来估计异常分数并定位异常区域。通常，未见过的异常图像会产生比正常图像更高的重建误差。然而，异常区域有时也能被很好地重建，使得它们几乎与正常区域无法区分。为了缓解这个问题，提出了异常合成策略作为预处理任务，该策略会屏蔽正常图像的某些区域[10]、[11]，然后通过修复来重建它们。与此相关的一种近期著名方法是训练判别网络[5]、[12]，自动识别输入图像与其修复后的图像之间的差异，如图1(a)所示。通过这种方式，可以完全捕获图像空间内的细节差异，从而实现细粒度的异常分割。另一种有竞争力的方法是使用预训练网络将图像嵌入到更健壮和具有判别能力的特征空间[13]中，然后进行检测。嵌入的特征空间通常是多层次且语义丰富的，使模型能够专注于正常实例的语义表示。例如，如图1(b)所示，基于知识蒸馏的方法[6]、[14]利用判别网络来利用学生网络和预训练教师网络在异常输入上的输出特征图之间的差异。然而，现有方法面临几个挑战，这些挑战限制了它们在实际应用中的有效性。首先，原始图像提供了细粒度异常分割所需的高频细节信息，而预训练特征提供了健壮的语义表示。缺少其中任何一个都会阻碍对正常图像分布的完整建模。因此，现有方法通常依赖于单一的图像或特征空间，使得无法完全分割异常区域。如图1(a)和(b)所示，对于榛子中的大面积裂纹异常，仅使用图像的方法[5]只能分割左侧部分，而仅使用特征的方法[6]则忽略了中心区域。其次，判别网络的训练依赖于特定的合成训练数据，这些数据不仅无法覆盖所有可能的异常类型，而且与现实世界中的异常情况存在偏差。因此，现有异常检测方法中判别网络获得的知识范围受到限制，难以有效地泛化以分割各种未见过的异常对象。
幸运的是，像Segment Anything Model（SAM）[15]、[16]、[17]、[18]这样的视觉基础模型最近展示了出色的分割性能，特别是在零样本条件下。SAM在大规模、多领域数据上进行了预训练，并具有灵活的提示交互机制。在此基础上，它可以精确分割任何目标区域，包括之前未见过的对象。通过适配器的微调[19]，它在各种下游视觉任务中实现了显著的适应性和泛化能力[20]、[21]。在视觉异常检测中，SAM的特性使其能够有效处理多样化和复杂的异常模式。现有方法[22]、[23]是早期尝试将SAM整合进来以识别不规则和未知异常区域的尝试，从而缓解了高误报率和分割精度有限的问题。然而，这些方法仅将SAM作为后处理工具使用，未能有效整合领域特定的异常知识，难以检测图像中不明显可见的异常，例如缺失的对象。因此，SAM在这一领域的潜力尚未得到充分探索。
为了解决上述问题，提出了一种名为SAM-IAD的新方法，用于适应SAM以实现高质量的异常分割。SAM-IAD旨在将来自图像和特征空间的特定异常知识注入SAM框架。特定异常知识通过跨不同颜色空间的图像及其预训练特征的映射获得图像和特征残差来表示。然后，SAM将图像残差作为图像编码器的输入，而特征残差作为密集提示与之结合。通过这种方式，SAM中的判别预训练特征和图像的细粒度信息可以有效地相互作用，从而实现更全面的异常分割。值得注意的是，SAM学习的是图像和特征的残差分布，而不是它们的初始分布，从而能够更有效地适应异常。此外，为了保留SAM分割任意对象的通用先验知识，设计了可学习的异常相关适配器（AR-Adapter）嵌入到冻结图像编码器的每个块中进行微调。与以往方法的结构比较如图1所示。所提出的方法利用SAM利用来自图像和特征空间的信息，并促进它们之间的交互，实现了与真实异常区域高度匹配的高质量异常分数图。总之，我们的贡献如下：
•提出了一种新的框架SAM-IAD，通过整合来自图像和特征空间的异常知识来适应视觉基础模型SAM，以实现高质量的异常分割。
•为了将特定异常知识注入SAM，通过跨不同颜色空间的映射获得图像和特征残差，并将后者作为掩码提示进行交互。
•为了保留SAM中分割任何对象的通用先验知识，引入了可学习的异常相关适配器，并将其嵌入到SAM的冻结图像编码器中进行高效微调。
•在MVTec AD、VisA和DAGM数据集上进行了广泛的实验。结果表明，该方法在异常检测和分割方面取得了最先进的性能。
本文的其余部分组织如下。第2节回顾了无监督异常检测的相关文献。接下来，第3节描述了所提出的架构。第4节对使用的数据集进行了广泛的定量和定性分析。最后，第5节总结了本文并讨论了未来的工作。
章节片段
相关工作
本节回顾了无监督异常检测的相关工作，包括基于图像重建的方法、基于特征的方法以及该领域最近的SAM应用。此外，为了更清晰的比较，还分析了在会议场所、使用的信息、判别网络和局限性方面的代表性先前工作，如表1所示。
概述
在无监督异常检测中，目标仅使用正常样本训练模型来检测和分割未见过的异常。为此，提出了一种高效的异常检测框架SAM-IAD，其整体架构如图2所示。该框架利用SAM在吸收额外知识和准确分割未见目标方面的泛化能力。它由三个部分组成：（1）SAM的异常知识准备。
实验
在本节中，对提出的SAM-IAD在不同数据集上进行了广泛的实验，以定性和定量评估其有效性。此外，为了更深入地了解所提出方法的工作机制，从多个角度进行了消融研究。
结论与未来工作
在这项研究中，我们提出了一种名为SAM-IAD的新框架，用于无监督视觉异常检测。SAM-IAD通过整合图像和特征空间的优势有效地增强了异常分割能力，而以前的方法通常仅依赖其中一个。具体来说，首先通过跨颜色空间映射获得由残差表示的特定异常知识。然后，使用图像残差作为输入，并与作为掩码的特征残差进行交互
CRediT作者贡献声明
陈一驰：撰写 – 原始草稿、方法论、概念化。陈斌：软件、方法论。冼伟志：可视化。王俊杰：调查。龚新怡：可视化、软件。韩建文：验证。陶宪：撰写 – 审稿与编辑、监督。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：
陶宪报告获得了国家自然科学基金的支持。龚新怡报告获得了国家自然科学基金的支持。陶宪报告获得了中国科学院青年创新促进协会的支持。陶宪报告获得了北京Nova计划的支持。
