SeqAttention-SH：一种基于序列注意力机制的卷积神经网络，用于多类别叶片特征分类

《Computers and Electronics in Agriculture》：SeqAttention-SH: Sequence attention module based convolution neural network for multiclass leaf features classification

植物疾病检测模型SeqAttention-SH通过边缘检测、多通道卷积和并行注意力机制，显著降低参数量（6.5万）和训练时间（3-5分钟），在BananaLSD和Sunflower数据集准确率达97.73%和99.78%，优于Faster RCNN和VGG16。

　　

Sedat Metlek | Halit ?etiner

布尔杜尔梅赫梅特·阿基夫·埃尔索伊大学工程与建筑学院，土耳其布尔杜尔市

摘要

本研究提出了一种新的三模块模型SeqAttention-SH，该模型可以减少基于迁移学习的图像分类算法的时间、成本和计算复杂性。在第一模块中，开发了一种基于边缘的模型，利用Canny边缘检测算法的优势来检测感兴趣区域（ROI）。在第二模块中，ROI内的每个颜色通道都经过一系列卷积处理以提取特征。在第三模块中，第二模块的并行输出在注意力模块中进行处理。所提出架构的第三阶段的注意力模块使用了计算效率高的AND逻辑门。在这个模块中，来自并行通道的特征图被合并，只有那些在所有分支中始终活跃的最稳健的特征才能进入最终的分类阶段。这种共识机制提高了模型的稳定性和可靠性。与Faster RCNN（2870万参数）和VGG16（1.276亿参数）等现有模型的高参数数量相比，SeqAttention-SH模型的参数数量仅为650万，但其结构更具竞争力，在本研究中使用的BananaLSD和Sunflower数据集上的性能值分别为0.9773和0.9978。此外，现有模型的训练时间为7-23分钟，而所提出模型的训练时间为3-5分钟，显著缩短了训练时间。凭借这些性能，SeqAttention-SH模型可以与文献中在同一数据集上进行的最先进研究（SOTA）相媲美。

引言

除了技术和教育之外，农业在推动社会向更高水平的福祉发展方面也起着关键作用。气候变化、自然灾害和地区战争对当今的农业生产产生了重大影响。由于地区战争，农业生产大幅减少，使得农业生产具有更加重要的战略价值。然而，各种危害作物生产的病原体的入侵以及某些矿物质的缺乏也直接影响了农业产出。虽然地区和气候变化无法直接控制，但可以通过智能农业实践来解决可能影响农业生产的病原体和矿物质缺乏问题。通过智能农业实践可以实现有效的结果，特别是在农业疾病的早期诊断和治疗方面（Jayagopal等人，2022年；Legrand，2023年）。

由于许多农业生产地区难以获得专家人员，早期诊断方法无法得到充分利用。这个问题可以通过智能农业应用部分解决。这里的关键问题是所应用方法与所种植的具体植物的兼容性。过去，这些方法可以部分通过传统的决策算法来实现，而如今使用机器学习和人工智能方法可以获得更现实的结果。因此，机器学习和人工智能在农业领域的应用呈现出显著的趋势（?etiner，2022年；?etiner和Metlek，2025年）。然而，在评估机器学习和人工智能研究时，很明显基于迁移学习的人工智能算法更为主导。研究人员倾向于使用迁移学习模型的主要原因是，传统的机器学习算法依赖于手动提取的特征，并基于专家意见（Metlek，2021年）。因为在许多应用中，专家可能不足以进行诊断，或者可能存在获取与他们所诊断的疾病相关的特征的问题。然而，像迁移学习方法这样的人工智能算法可以直接从图像中提取特征，而无需依赖专家意见。执行卷积操作需要强大的硬件基础设施。

如今，许多农民可以使用移动设备，使他们能够更轻松地获取数据，而无需额外的硬件。通常，图像被用作卷积过程初始层的数据（Metlek，2024年）。因此，卷积过程已成为农业算法开发和疾病检测的首选方法。然而，从计算机科学和工程的角度来看，这些迁移学习方法也有一定的缺点。主要问题之一是迁移学习方法中使用的权重来自涵盖数百个不同类别的数百万数据点。预训练模型如GoogleNet、ResNet、VGGNet、AlexNet和DenseNet就是这方面的典型例子。因此，开发的模型并不针对单一应用或问题进行定制。模型必须重新训练，并且经常需要修改以适应特定应用。在重新训练阶段，由于这些模型的层数和涉及的运算，可能会产生较高的计算成本。因此，即使是为了训练目的，也需要高性能的设备。

第二个缺点是，由于处理成本高，这些算法不能应用于所有设备。因此，开发的算法应具有比基础模型更轻的权重和更少的层。本研究的目的是通过专注于这个问题来开发一个具有较少层的模型。在这个阶段，虽然层数减少了，但这些层中使用的参数值变得至关重要。在所进行的研究中，与文献中的许多研究不同，这些参数被保持在最佳水平。因此，开发了一种名为SeqAttention-SH的新卷积模型，它具有更少的层、更准确的参数、更低的处理成本和更高的准确性。

为了使用本研究中提出的模型检测图像中的疾病，首先通过去除图像中的不重要区域来提取感兴趣区域（ROI）。这主要是因为农业环境中的植物疾病检测具有独特的挑战。在田间拍摄的叶片图像通常包含杂乱和分散的背景，这些背景可能会对深度学习模型造成干扰，使它们无法关注叶片本身的关键症状区域。为了解决这个问题，我们开发了一种新的ROI检测方法。通过更一致地识别叶片边界和明显的内部边缘（这些通常对应于疾病模式），所提出的模型能够更有效地从背景中提取叶片和患病部分。选择基于边缘和序列模块模型的主要原因如下：

1-

改进的Canny方法具有创新性，最重要的是计算成本更低。它对图像采集环境的变化也更加稳健。

2-

选择序列模块模型的基本思想是，植物疾病表现为微妙、复杂且通常具有颜色特异性的模式。单一疾病可能导致一个区域的黄化（影响红色/绿色通道），而在另一个区域导致深色坏死斑块（影响所有通道）。将RGB图像作为一个整体进行处理会导致这些不同的通道特异性特征混合和淡化。通过序列模块，每个颜色通道通过单独的卷积块并行处理。这种设计将颜色通道视为独立但互补的信息来源。

这个预处理步骤确保后续的卷积操作主要应用于相关区域，减少了对无关像素的计算负担，并使特征更加明显。为了评估所开发模型在真实农业场景中的有效性，我们在具有重要商业和营养价值的作物（如向日葵、水稻、苹果和香蕉）的叶片图像上对其进行了测试。文献中广泛使用的Sunflower数据集被用于向日葵的测试，而更新的BananaLSD数据集被用于香蕉的测试。同样，苹果和水稻也使用了流行的数据集。这使得模型能够在文献中常用的当前和稍旧的数据集上进行评估，并将其性能与最先进的研究（SOTA）进行比较。

本研究对文献的主要贡献简要总结如下：

(1)

SeqAttention-SH模型中使用的基于卷积的方法自动从图像中提取特征，提供了关于植物疾病的宝贵信息。这意味着相同的方法可以应用于检测不同数据集中的各种疾病。

(2)

SeqAttention-SH模型包含一个注意力模块，该模块从ROI区域提取详细特征，并同时并行处理来自三个不同分支的数据。

(3)

所提出的SeqAttention-SH模型的性能与文献中广泛使用的Faster RCNN和VGG16架构相当。尽管这些架构的参数数量分别为2870万和1.276亿，但所提出模型的参数数量仅限于650万。因此，SeqAttention-SH模型证明了其能够用显著较少的参数产生有效的结果。

(4)

尽管文献中通常认为模型的性能随着参数数量和运算次数的增加而提高，但本研究提出了一个参数较少、处理能力较低的模型，仍然可以与文献中常用的模型竞争。为了客观评估所提出的模型，我们在五个不同的数据集上展示了测试结果。根据分析的测试结果，所提出的基于卷积的SeqAttention-SH模型可以被视为可持续农业的更实用和合理的解决方案。通过使用这种方法，生产者将能够仅通过图像诊断疾病，从而消除了耗时且昂贵的替代方法的需求。

(5)

在研究中，还提出了一种新的、更一致的边缘检测算法，可以解决传统Canny边缘检测算法中遇到的梯度波动问题。

研究的其余部分组织如下：第2节介绍了文献中使用类似方法的研究。第3节分享了研究中使用的数据集和所提出的模型。第4节展示了研究中获得的结果及其与使用相同数据集的SOTA研究的比较。最后一节对研究进行了总体评估，并分享了关于未来研究的信息。

相关工作

相关工作

近年来，通过叶片图像分析植物疾病的趋势日益增长。如文献中所观察到的，大多数研究采用了基于卷积的深度学习方法。本节介绍了与主题相关的基于卷积的深度学习方法，以及文献中之前使用的基于机器学习的方法。

材料

本节介绍了用于评估文章中提出的SeqAttention-SH模型性能的两个数据集。实验研究中使用的首个数据集称为BananaLSD，其中包含香蕉叶的图像（Arman等人，2023年）。该数据集包括名为Sigatoka、Pestalotipsis、Cordana的疾病类别以及健康香蕉叶的图像（Surridge等人，2003年）。数据集中的Sigatoka疾病有两种类型：黑Sigatoka和

实验结果与讨论

在这项研究中，提出了一种新的模型，用于识别和分类向日葵和香蕉叶图像中的病变区域。因此，研究重点关注了两个不同的数据集。为了更好地评估所提出模型的泛化能力，测试扩展到了包含多种植物种类和疾病的三个额外数据集，并在五个不同的数据集上进行了最终评估。还使用了预训练的深度学习模型，如Faster RCNN和VGG16

结论

在这项研究中，开发了一种新的、计算效率高的深度学习架构SeqAttention-SH，用于自动分类植物叶片疾病。与VGG16和Faster R-CNN等传统的基于迁移学习的方法不同，后者具有高参数数量和强大的硬件要求，所提出的模型仅使用650万参数就实现了高准确性和良好的CELoss。该模型结合了基于边缘和区域的ROI提取以及序列模块

CRediT作者贡献声明

Sedat Metlek：撰写 – 审稿与编辑，撰写 – 原稿，软件，方法论。Halit ?etiner：撰写 – 审稿与编辑，撰写 – 原稿，软件，方法论。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能会影响本文报告的工作。