用于植物叶片识别的具有区分能力的特征表示与异构融合技术

《Computers and Electronics in Agriculture》：Discriminative feature representations and heterogeneous fusion for plant leaf recognition

植物叶片识别中提出BMCAC形状表示、PSDR深度表示及KWFF异质特征融合框架，有效整合局部上下文与全局重要性，实验表明优于现有方法。

　　

叶梦杰|程勇|于德|袁永奇|金戈|王欢

江苏开放大学，南京210036，中国

摘要

有效的特征表示和异构融合对于植物叶片识别至关重要。然而，现有方法存在一些局限性，例如特征表示的全面性和独特性不足，以及在异构融合中缺乏对兼容性和互补性的充分考虑。最终，我们提出了一种名为“多尺度曲率角切割包”（BMCAC）的判别性形状表示方法，用于捕捉精细的曲率和空间分布特征；一种称为“渐进式显著深度表示”（PSDR）的先进深度表示方法，用于充分利用深度卷积特征；以及一种称为“K加权形状和深度特征融合”（KWFF）的有效融合框架，用于整合异构特征的局部上下文和全局重要性。具体来说，BMCAC基于曲率角切割（CAC）、多尺度分析和视觉词袋（BoVW）模型；PSDR通过应用渐进式下采样和分层池化操作来构建深度卷积特征；KWFF通过使用均匀距离度量编码邻近信息，同时结合来自异构距离度量的全局加权贡献来开发。在四个著名的基准叶片数据集上的广泛实验表明，所提出的形状和深度表示方法能够有效提取叶片图像特征，融合框架能够有效整合异构特征，性能优于现有最先进方法。源代码可在以下链接获取：https://github.com/Mumuxi1123/BMCAC_PSDR_KWFF。

引言

植物通过支持生物多样性、调节气候和为各种生物提供资源，在维持生态平衡中起着基础性作用（Zhang等人，2020a）。然而，人类活动导致植物物种多样性持续下降，使得灭绝率急剧上升（Zhang等人，2020b）。因此，有意识地识别植物物种和保护其生物多样性已成为紧迫的任务。不幸的是，全球大约有42万种植物物种（Scogland和Wortley，2003），其中许多尚未被发现。手动识别不仅耗时且劳动强度大，还需要专门的植物学知识。鉴于这些挑战，使用机器学习技术和各种植物器官的视觉特征来有效且准确地识别植物物种至关重要。在根、茎和花等多种植物器官中，叶片由于其独特的特征（如显著的形态差异、易于采集和相对稳定的结构）而被广泛用于植物物种识别。在过去的几十年中，提出了许多植物叶片识别方法，这些方法可以根据提取的叶片特征类型大致分为形状方法、纹理方法、深度学习方法和异构融合方法。

形状方法（BenKhlifa和Ghorbel，2019；Hu等人，2012；Wang等人，2019；Cao等人，2016；Sokic和Konjicija，2016；Chen和Wang，2020；Yang，2021；Wu等人，2023a；Zhao等人，2015；Ili?和Ralevi?，2021；Wu等人，2024；Giveki等人，2024）主要利用几何测量工具（如曲率、角度、线段距离和面积）来提取叶片轮廓的几何特征。这些方法计算简单、易于实现，并且可以快速识别具有显著形状差异的植物物种。它们受到了研究人员的广泛关注，并取得了相当大的进展。然而，现有的形状描述符主要局限于描述单个形状的曲率或空间分布特征。这种狭隘的关注不仅未能全面描述叶片形状特征，还忽略了叶片的纹理特征，使得在不同植物物种之间叶片形状高度相似的情况下难以实现更好的识别性能。

纹理方法主要依赖于经典的纹理描述符，包括局部二值模式（LBP）（Nguyen Thanh Le等人，2019）和灰度共生矩阵（GLCM）（Tang等人，2015）及其变体（Qi等人，2014；Chen等人，2021；Dyrmann等人，2016；Chen等人，2022；Lv和Zhang，2023），来表征叶片的表面纹理模式。这些方法可以描述图像像素的局部灰度变化以及灰度的空间分布和相关性，捕捉叶片纹理的结构信息。它们在区分叶片外观有显著差异的植物物种方面非常有效，并在植物叶片识别方面取得了一些进展。然而，纹理方法不仅计算复杂，而且对噪声和尺度变化敏感，难以提取稳健的纹理信息。此外，叶片之间的纹理差异往往很微妙，单一的纹理方法可能在植物叶片识别中无法取得更好的性能。

深度学习方法（Dyrmann等人，2016；Beikmohammadi等人，2022；Sharma和Vardhan，2024；Zhang等人，2025；Sharma和Vardhan，2025）主要利用经典的卷积神经网络（CNN），如VGG16（Simonyan和Zisserman，2015）、ResNet-50（He等人，2016）等，作为骨干网络来设计新的网络架构，或直接使用预训练的网络（Wang等人，2022；Wu等人，2023a；Wu等人，2023b）进行叶片分类或检索。这些方法不仅关注描述叶片纹理特征（Liu等人，2024），还可以表示复杂的语义信息。与传统纹理方法相比，它们展示了更强的表示能力，并在植物叶片识别方面取得了令人兴奋的结果。然而，现有的深度学习方法在抽象能力上有限（Wu等人，2023a；Wu等人，2023b），未能充分利用深度卷积特征的潜力（Wang等人，2022），并且在很大程度上忽略了叶片的形状特征，特别是复杂的边缘和微妙的形状变化，这在植物叶片识别中存在一定的局限性。

异构融合方法主要利用叶片形状、纹理和卷积特征的互补性，采用有效的融合框架来表示更全面的叶片区分特征，从而提高植物叶片识别性能。例如，形状和纹理特征的融合（Chaki等人，2015；Wang等人，2020；Yang，2021；Wu等人，2024；Yang等人，2025），或形状和卷积特征的融合（Wu等人，2023a）。这些方法更有效地表示了叶片的各种视觉特征，并提供了更完整的叶片信息描述，从而在植物叶片识别方面取得了显著进展。然而，现有的融合方法在特征规范化和聚合过程中没有充分考虑局部上下文和全局重要性，难以平衡异构特征的兼容性和互补性。因此，它们无法实现最佳的融合表示和更好的识别性能。

为了解决这些挑战并提高叶片识别性能，我们从增强特征表示能力的角度提出了BMCAC形状表示和PSDR深度表示，并进一步开发了KWFF异构特征融合框架，以利用异构特征的互补优势，不断改进植物叶片识别性能，如图1所示。具体来说，如黄色区域所示，所提出的形状表示的提取过程主要包括三个步骤：首先，基于轮廓点提取曲率角切割；接下来，通过多尺度分析将CAC扩展为多尺度曲率角切割；最后，应用视觉词袋模型构建BMCAC。同样，如绿色区域所示，所提出的深度表示也包括三个主要步骤：首先，从预训练的ResNet-50模型中提取深度卷积特征；然后，对深度卷积特征的每个通道进行渐进式下采样和分层池化，以聚合显著的语义信息；最后，将不同层和通道的特征连接起来形成PSDR。随后，这两种异构特征同时输入到KWFF融合框架中，如橙色区域所示，该框架编码局部邻域信息并聚合全局加权距离，以提取结合了低级视觉线索和高级语义信息的多视图特征，从而进一步提高植物叶片识别性能。

本文的主要贡献总结如下：

• •
  我们提出了一种新颖的BMCAC形状表示方法，能够捕捉精细的曲率和空间分布，提高了形状描述的全面性。
• •
  我们构建了一种先进的PSDR深度表示方法，能够有效聚合多层次的显著语义信息，从而提高特征的判别性。
• •
  我们提出了一种新的KWFF异构融合框架，充分考虑了形状和深度特征的局部上下文和全局重要性，平衡了异构融合的互补性和兼容性。
• •
  在四个经典叶片数据集上的广泛实验表明，所提出的形状表示、深度表示和融合框架的有效性优于现有最先进方法。

本文的其余部分组织如下：第2节简要回顾了与植物叶片识别相关的工作，第3节详细介绍了所提出的方法，第4节展示了在四个基准数据集上的识别结果，第5节给出了本文的结论。

章节片段

相关工作

本节回顾了与我们的研究相关的文献，包括叶片形状方法、深度学习方法和异构融合方法。

方法论

本节详细介绍了所提出的方法，包括形状表示、深度表示、融合框架和可视化分析。每个组成部分分别进行介绍。

实验

为了验证所提出的形状表示、深度表示和融合框架在区分植物物种方面的有效性和可靠性，我们首先在四个经典叶片数据集上进行了广泛的实验，并将其与现有最先进方法进行了比较；随后，我们对所提出的算法进行了参数分析和鲁棒性分析。

结论

本文提出了一种新颖的判别性BMCAC形状表示方法、一种先进的PSDR深度表示方法和一种有效的KWFF异构融合框架。BMCAC表示方法基于曲率角切割、多尺度分析和视觉词袋模型，全面捕捉了叶片的精细曲率和空间分布特征。PSDR是通过应用渐进式下采样和分层池化操作来构建的

CRediT作者贡献声明

叶梦杰：撰写——原始草稿、软件、方法论、概念化。程勇：撰写——审阅与编辑、监督。于德：软件、调查、数据管理。袁永奇：软件、调查、数据管理。金戈：调查、资金获取。王欢：调查、资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了国家自然科学基金（项目编号：62272231）和江苏省高等教育机构自然科学研究（项目编号：24KJB520005）的支持。