《Expert Systems with Applications》：Memory guided dual discrepancy network with domain adaptation for few-shot anomaly detection
编辑推荐：
针对少数样本场景下图像异常检测的难题，本文提出基于双不一致记忆网络（DDMNet）的解决方案。该方法通过域适应技术增强特征提取能力，采用分离式双网络架构（稳定特征参考网络FEN和重建网络FRN）建立全局特征不一致性度量，并引入特征记忆模块防止过拟合。实验表明，在MVTecAD和Visa数据集的1-4样本设置下，DDMNet在像素级和图像级检测指标上均优于现有无监督方法，同时通过自监督精修模块提升检测精度，解决了传统方法在样本稀疏时的泛化能力不足和误报率高的问题。
Fan Zhang|Ling Gong|Shunlong Lin|Yuqian Zhao
中南大学精密制造极端服役性能国家重点实验室自动化学院，中国长沙410083
摘要
少样本异常检测是一项重要且具有挑战性的任务，其目标是在给定有限数量正常图像的情况下，检测收集到的样本图片中的异常。当前的无监督异常检测方法利用现有的正常图像进行训练并定位异常像素，但由于仅考虑了局部语义信息，在特征提取方面的判别性能较差。为了解决这个问题，我们提出了一种基于记忆的双重差异网络（DDMNet），以实现高效且稳健的少样本异常检测。我们的DDMNet采用基于数据增强的领域适应机制来提升提取特征的判别能力。该双重网络架构结合了设计的特征融合和特征记忆模块，从而实现了更高效和准确的全局特征匹配与重建。此外，我们还引入了一个自监督细化模块，利用合成异常的真实数据来提高异常检测的准确性。在MVTecAD和Visa数据集上的广泛实验验证了DDMNet的有效性和稳健性，在少样本设置下取得了有希望的图像级和像素级指标。
引言
自动异常检测在智能制造领域的工业质量检测中是一个经典应用，用于区分正常和异常图像样本。然而，在工业环境中，异常样本的出现概率远低于正常样本，这使得基于监督的深度学习框架难以学习到缺陷特征表示。另一方面，缺陷通常来自未知来源，可能以任何形式出现在任何位置，这进一步限制了监督方法的应用。因此，无需异常样本的无监督方法应运而生并迅速发展，这些方法仅需要正常图像作为训练数据。
无监督异常检测策略通常分为两大类：以重建为中心的技术和以特征为导向的方法。基于图像重建的方法通常在像素空间中对图像进行处理，使用卷积自编码器，并假设自编码器无法泛化到具有异常结构的图像（Kang等人，2026年；Zavrtanik等人，2021年）。基于特征提取的方法则在特征空间中对图像进行处理，将图像转换为描述性特征表示，然后利用正常图像特征进行比较和建模以学习和推断异常位置（Xu和Shao，2025年；Hou等人，2021年）。然而，这些无监督方法需要大量的正常样本进行训练，耗时较长，并且包含某些先验假设。
在实际生产流程的算法开发初期，可用的图像数量有限，这在一定程度上限制了现有小样本方法的应用。基于重建的模型容易过拟合于有限的正常样本，无法泛化到未见过的正常模式。相比之下，基于特征的方法依赖于估计正常特征的密度；当支持集稀疏时，估计的分布会变得不连续，导致高误报率。为了在样本有限的情况下实现异常检测，传统的少样本学习方法（如数据增强、迁移学习和元学习）被引入到异常检测中（Park等人，2020年；Tien等人，2023年）。然而，迁移学习提供了一种轻量级的解决方案，但存在“正常性遗忘”问题，即学生网络过于泛化，将异常重建得与正常样本一样有效，从而影响了检测效果。另一方面，元学习范式需要大量的辅助数据集和较长的训练时间来学习类别无关的先验知识。
在这项工作中，我们提出了一种基于记忆的双重差异网络，用于在少样本设置中提取具有判别能力的特征表示，并建立全局特征差异以进行异常检测。一个经过领域适应的骨干网络从有限的正常图像中提取深度层次化的特征，这些特征编码了空间上下文信息。我们使用记忆模块存储网络中正常图像的层次化特征，以便与输入特征进行匹配和重建。提取的层次化信息与重建的信息进行比较，以建立全局特征差异，然后将其输入到自监督细化模块中，进一步提高异常检测的准确性。与纯重建方法不同，我们利用预训练的特征提取器（FEN）来确保稳定性；与标准迁移学习不同，我们引入了基于记忆的双重差异机制，以明确限制学生网络（FRN）对异常的泛化。这使我们能够在不承受元学习沉重计算负担的情况下实现具有竞争力的性能。
本研究的主要贡献如下：
1. 我们提出了双重差异记忆网络（DDMNet），这是一种统一的设计架构，旨在解决少样本异常检测中的“正常性遗忘”和“过拟合”问题。通过将稳定的特征参考（FEN）与重建过程（FRN）解耦，即使在数据极其有限的情况下也能建立稳健的差异度量。
2. 我们在重建分支中引入了一个基于瓶颈的特征记忆模块。与仅存储特征的传统记忆库不同，我们的模块强制网络使用稀疏的原型集来重建图像，有效防止模型在单样本设置中记住单个支持样本。我们设计了一个在合成异常上训练的自监督细化模块（SRM），该模块将粗略的特征级差异转化为精确的像素级定位，弥合了图像级检测与分割性能之间的差距。
3. 我们的DDMNet在MVTecAD和Visa基准测试中表现出优越的性能，在1样本、2样本和4样本场景下，与多种无监督检测基线相比均取得了优异成绩。
部分摘录
无监督异常检测
在工业环境中，缺陷样本相对于正常样本的稀缺性导致了无监督学习框架的广泛应用。这些技术通常分为两大类：以图像重建为中心的模型和基于特征提取的方法。
基于图像重建的技术通过实现卷积自编码器来识别异常，这些自编码器经过优化，能够压缩和重建标准
方法
本节首先定义了FSAD，然后我们全面介绍了我们的网络及其各个组成部分。
数据集和评估指标
我们的实验在两个公共数据集MVTecAD（Bergmann等人，2019年）和Visa（Yi和Yoon，2020年）上进行。MVTecAD数据集包含15个子类，训练集包含3629张正常图像，测试集包含467张正常图像和1258张异常图像。Visa数据集包含12个子类，训练集包含8659张正常图像，测试集包含962张正常图像和1200张异常图像。为了在少样本设置下进行实验，我们的训练集和验证集
结论
在这项研究中，我们提出了一种用于少样本设置下异常检测的双重差异记忆网络DDMNet，主要包括领域适应、全局特征建立和SRM。领域适应旨在增强骨干网络在目标领域中提取特征的判别能力。我们的双重网络架构通过存储特征在FEN和FRN之间的全局特征差异，在第1、2和4样本设置中突出显示异常与背景的区别
CRediT作者贡献声明
Fan Zhang：资金获取、监督、撰写 – 审稿与编辑。Ling Gong：数据整理、撰写 – 审稿与编辑。Shunlong Lin：撰写 – 原稿撰写、数据整理、方法论设计、撰写 – 审稿与编辑。Yuqian Zhao：监督、撰写 – 审稿与编辑。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本研究得到了国家重点研发计划（项目编号：2022YFE0112300）和中南大学精密制造极端服役性能国家重点实验室项目（项目编号：ZZYJKT2024-09）的资助。
