结合少量样本语义分割的跨模型蒸馏方法在农业假冒产品检测中的应用

《Computers and Electrical Engineering》：Cross-model distillation with few-shot semantic segmentation for agricultural counterfeit detection

农产品假货检测通过few-shot深度学习与语义分割结合，采用知识蒸馏和跨模型特征对齐提升低数据场景下的识别精度，并在TF-Fruit等数据集验证有效性。

　　

Dat Tran-Anh、Anh Le Nguyet、Tao Ngo Quoc、Quynh Nguyen Huu

越南科学技术院研究生院，河内，越南

摘要

检测假冒农产品是农业领域中的一个关键挑战，对于保护公众健康至关重要。将少量样本深度学习与语义分割相结合，用于识别此类假冒产品的方法因其强大的泛化能力和对特定类别的像素级语义理解能力而受到广泛关注。同时，少量样本深度学习解决了数据稀缺这一普遍问题，而传统深度学习模型通常需要大规模的数据集。此外，本文介绍了一种针对性的知识蒸馏机制，以促进模型间的特征对齐。该方法利用小型高效模型中的特征蒸馏来改善少量样本学习中支持集和查询集之间的交互。在COCO等基准数据集以及专门的TF-Fruit数据集上的广泛实验证明了所提出方法的有效性和优越性。

引言

检测假冒农产品是农业领域的一项关键任务，对于保护公众健康至关重要。在本研究中，我们将农产品假冒定义为故意篡改产品的原产地、质量、品种或处理方式（例如，将“中国”土豆冒充为“达拉特”土豆，或使用人工色素伪造成熟度）。传统上，识别此类欺诈产品需要特定于产品类型的领域专家。因此，迫切需要自动化算法来减轻农业专家的工作负担并扩大检测范围，为此已经开发了许多机器学习和深度学习技术[1]、[2]、[3]。

尽管深度学习网络能够以较高的准确性检测农产品，但它们通常受到大规模数据集需求的限制。相反，少量样本深度学习模型可以解决数据有限的问题，但在识别假冒农产品时往往在准确性方面存在不足。因此，开发能够理解像素级分割特征同时利用少量样本深度学习优势的模型，是提高假冒农产品检测质量的有效解决方案。

少量样本语义分割（FSS）模型[4]通常采用元学习来模拟推理过程并与元任务对齐。这支持基础支持集和查询集，从而在不需要微调的情况下提高对新类别的分割能力。此外，FSS模型基于原型方法和聚合特征[5]进行了广泛训练。然而，由于数据限制，FSS模型的准确性仍然不够理想。

在这项工作中，我们通过以下方式解决了这些持续存在的挑战：（1）构建一个能够从基础模型进行双重编码的深度学习模型，包括提示编码器和掩码分割解码器；（2）利用先进的提示生成技术；（3）为支持数据和查询数据创建相似性集，以增强我们少量样本深度学习模型的训练和预测能力。值得注意的是，我们的方法利用已知类别的数据来支持数据稀缺类别中的假冒农产品识别，采用基于部分观察结果设计的方法。通过提出的方法解决这些限制，我们的编码器-解码器模型（命名为FsDSS，即具有蒸馏和语义分割的少量样本学习）旨在实现紧凑和高效。

具体来说，我们致力于开发一种在数据量较少条件下理解假冒农产品特征的方法，基于输入图像。为了解决少量样本农业假冒产品检测的挑战，我们的FsDSS框架基于三个核心设计原则：

(1) 提示驱动、任务特定适应：FsDSS不使用通用编码器，而是利用冻结的DINOv2框架，并为其每个特定少量样本任务调整其特征。这是通过我们的元视觉提示生成器（MVPG）实现的，该生成器根据支持集创建任务特定的语义和密集提示，引导模型仅关注与当前查询相关的假冒特征。

(2) 跨模型知识蒸馏以实现特征对齐：一个关键挑战是DINOv2编码器与分割解码器之间的特征空间不匹配。我们的第二个原则是高效地弥合这一差距。我们引入了一种特定的蒸馏策略，其中轻量级的数据适配器被训练来模仿强大的SAM编码器的特征表示。这使得最终模型能够受益于SAM的分割能力，而无需在推理过程中承担其高计算成本。

(3) 集成多级引导的分割：最终的分割掩码不是来自单一信息源。我们的第三个原则是将多级引导集成到受SAM启发的掩码解码器中。解码器同时处理来自数据适配器的空间丰富的蒸馏特征和来自MVPG的上下文感知视觉提示。这种多级信息的综合实现了精确和稳健的分割。

基于这些原则，我们的主要贡献如下：

• •
  我们介绍了FsDSS，这是一种新颖且高效的少量样本语义分割框架，能够成功地将大规模SAM教师模型的知识蒸馏到基于DINOv2的轻量级分割器中。在元视觉提示生成器的引导下，这种独特架构实现了先进的性能，同时显著降低了推理时的计算成本。
• •
  我们提出了一种特定的跨模型蒸馏策略，旨在有效弥合DINOv2的局部特征与SAM的全局语义能力之间的表示差距，这是我们轻量级 yet 强大设计的关键。
• •
  我们提供了TF-Fruit数据集，这是一个新的、多样化的农业假冒产品检测基准数据集，包含50个产品来源类别的9000张标注图像。

相关工作

相关工作

所提出的FsDSS方法与几个关键研究领域相交，主要包括：假冒农产品检测、少量样本语义分割（FSS）、视觉基础模型在专门领域中的应用以及跨模型知识蒸馏。

问题阐述

这里主要解决的问题是通过FSS检测假冒农产品。这项任务需要仅使用最小数量的标注示例（支持集$S$）来精确识别和划分农产品图像中的假冒特征，这些示例针对特定且可能是新的假冒类型$c$。给定一个包含$I^Q$的查询图像，目标是生成一个预测掩码，以便准确

提出的FsDSS方法

数据集

为了确保我们的mIoU比较的有效性并保持与标准FSS评估协议的一致性，我们在COCO-20i [40]上的实验仅关注80个“事物”类别（即可计数对象）。我们明确排除了“物质”类别，因为这对于与该领域之前的工作进行公平和直接的比较至关重要。

我们的主要评估是在TF-Fruit数据集上进行的，该数据集是我们专门为这项精细任务策划的

发现和贡献的解释

特征提取策略和抗噪声能力：我们框架的成功依赖于双管齐下的特征提取策略。我们利用早期阶段的DINOv2 [46]特征，因为它们具有丰富的空间细节，这对于精确的边界分割[47]至关重要，而最后一层的特征为提示生成器中的准确类别匹配提供了所需的语义上下文。这种多层次方法是关键。此外，该架构本身能够处理特征“噪声”或不相关性。

结论

在这项工作中，我们提出了FsDSS这一新颖的少量样本语义分割框架，以应对农业假冒产品检测这一关键且数据稀缺的挑战。我们的核心贡献是一种独特且高效的架构，能够将大规模教师模型（SAM）的知识成功蒸馏到基于DINOv2的轻量级分割器中，这一观点现已得到充分证据的支持。未来的工作将集中在验证这些有希望的结果在假冒产品上的应用。

CRediT作者贡献声明

Dat Tran-Anh：概念化、监督、写作——审阅与编辑。Anh Le Nguyet：概念化、方法论、写作——原始草稿。Tao Ngo Quoc：调查、验证、方法论、概念化。Quynh Nguyen Huu：调查、验证、方法论、概念化、写作——审阅与编辑。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本研究由越南国家科学技术发展基金会（NAFOSTED）资助，资助编号为27/2025/TN。

Dat Tran-Anh出生于越南河内。他分别于2020年和2022年在河内的邮政和电信技术学院获得了安全信息学士学位和计算机科学硕士学位。他目前正在河内的越南科学技术院攻读计算机科学博士学位。自2023年以来，他一直担任Thuyloi大学人工智能系的讲师。他的研究兴趣包括图像处理