《Frontiers in Plant Science》：SEAFEC: a spatial–edge adaptive convolution for multi-scale and boundary-aware plant disease and weed imagery
1 引言
农业在全球粮食安全中扮演着关键角色，但作物生产持续受到杂草和植物病害的威胁。杂草与作物竞争养分、水分和光照，导致产量损失高达30-40%，严重感染时减产超过50%。植物病害同样是全球农业生产力和质量的主要制约因素，联合国粮农组织估计每年全球收获损失达10-16%。这些威胁凸显了对精准农业监测策略的迫切需求。
随着计算机视觉（CV）和深度学习的快速发展，智能方法已成为植物保护的有力解决方案。与传统人工勘察相比，基于CV的系统具有无损、可扩展和实时分析的优势。深度学习模型已广泛应用于植物病害分类、病斑检测和杂草-作物分割等农业任务。
植物病害和杂草图像在现代农业中呈现多样化挑战，不同计算机视觉策略通常根据任务需求采用。对于植物病害，分类和目标检测是最常见的方法。分类任务旨在从叶片图像确定病害类型，对早期诊断和及时干预至关重要。早期研究突出了深度网络的强大特征提取能力，AlexNet、VGG和ResNet等卷积神经网络（CNN）被应用于相对干净的数据集进行端到端分类，显著优于传统机器学习方法。除分类外，目标检测旨在复杂田间条件下定位病害病斑，实现严重程度评估并指导治疗决策。该任务广泛采用Faster R-CNN、SSD和YOLO等框架，其中单阶段检测器如YOLOv5和YOLOv8因其准确性和实时效率的平衡，特别适用于玉米和水稻等大规模作物。
对于杂草，语义分割是优选方案，因为精准除草通常需要像素级分类。准确的杂草轮廓划分支持靶向清除并减少作物竞争。全卷积网络（FCN），包括U-Net、SegNet和DeepLab，通过编码器-解码器结构和跳跃连接整合高层语义和低层细节，主导该领域以实现不规则植被的精确分割。然而，现有方法通常专用于单一任务，而农业图像需要能适应分类、检测和分割的通用解决方案。
尽管如此，农业图像特有的挑战限制了现有方法的可靠性。特别是多尺度变异和模糊边界无处不在：病害病斑可能从微小斑点到大而不规则的斑块，常与健康组织融合；杂草以稀疏个体和密集簇群出现，常与作物叶片重叠。这些特性使精确识别变得困难，具有固定感受野的传统卷积算子往往无法同时捕获大尺度上下文和细粒度边界细节。因此，现有模型易出现误分类、不准确病斑定位或模糊分割。
为应对这些挑战，研究者探索了改进的卷积算子，如可变形卷积网络（DCN）、动态卷积和RFAConv。这些方法增强了感受野灵活性，但常忽略显式边界细化或忽视区分细微病害症状的关键通道间交互。更重要的是，它们缺乏对农业图像固有的尺度-边界困境的专门考虑。
本研究提出时空-边缘自适应特征增强卷积（SEAFEC），一种统一高效的卷积结构，专门设计用于解决植物病害和杂草图像中的尺度多样性和边界模糊性双重挑战。SEAFEC采用双分支架构：一个分支通过时空-通道注意力动态调整感受野以捕获不同尺度和形状的目标，另一个分支显式增强多尺度边缘特征以实现更锐利的边界定位。通过整合跨通道交互，SEAFEC联合建模语义和结构信息，从而提供可无缝应用于植物病害分类、病斑检测和杂草分割的鲁棒解决方案。
2 材料与方法
2.1 SEAFEC
植物病害和杂草图像常显示目标尺度的大变异和模糊边界，这仍是农业视觉中准确特征表示的主要障碍。为解决这些挑战，我们提出SEAFEC，一种高效的即插即用模块，旨在提高尺度自适应性和边界精度。
SEAFEC采用双分支架构。第一个分支SCARF动态调整感受野以捕获不同大小和不规则形状的病斑和杂草。第二个分支MEFE通过可学习的基于差分的操作显式增强边缘和纹理线索，从而改善模糊或重叠边界的划分。两个分支的输出然后自适应融合以生成整合结构和边界信息的增强表示。
公式表示为：Fout= Fuse(SCARF(Fin), MEFE(Fin))
该设计使SEAFEC能更好地捕获植物病害分类、病害检测和杂草分割中关键的多尺度变异和细粒度边缘细节。
2.2 SCARF
在植物病害和杂草图像分析中，尺度变异和不规则形态仍是可靠特征提取的主要障碍。玉米叶片病斑可能从微小圆形斑点到伸长条状区域，而杂草目标在遮挡和光照下常呈现多样形状。具有固定感受野的传统卷积无法同时捕获此类异质模式，导致关键病斑细节丢失或冗余背景特征。
为克服此问题，我们设计时空-通道自适应感受野注意力（SCARF）模块。核心思想是用动态的、输入依赖的过程替换静态卷积核，使感受野能自适应调整到目标尺度和形状。与计算昂贵的全局自注意力不同，SCARF保留卷积的局部归纳偏置同时引入轻量级注意力分支。该分支为每个空间位置生成位置特定的卷积权重，而通道注意力机制进一步加强通道间语义交互。如此，SCARF提供空间自适应性和通道感知，这对区分颜色和纹理细微差异的病害症状至关重要。
形式上，给定输入特征图X ∈ RB×C×H×W，SCARF首先通过平均池化提取上下文表示，随后是1×1分组卷积将通道维度从C扩展到C×k2，其中k表示决定感受野范围的核大小。所得注意力权重通过Softmax函数归一化得到空间注意力张量。
Arf= Softmax(GroupConvC→C×k21×1(AvgPool(X)))
其中Arf∈ RB×C×k2×H×W编码每个感受野位置的相对重要性。并行地，通过k×k分组卷积、批量归一化和非线性激活提取多感受野特征。由于颜色线索在区分不同植物病害（如黄锈病与白粉病）和分离杂草与作物中起关键作用，我们进一步纳入通道重校准。为此，应用高效通道注意力（ECA）模块以强调病害和杂草相关通道同时抑制无关响应：
Frf= ECA(σ(BN(GroupConvC→C×k2k×k(X))))
产生强调病害相关通道同时抑制噪声的特征图。
最后，注意力张量Arf通过逐元素乘法调制这些特征，产生加权响应：
Fweighted= Arf⊙ Frf
然后通过步长为k的卷积重排和融合以恢复原始分辨率：
Y = Convk×k, stride=k(Rearrange(Fweighted))
其中Y ∈ RB×C×H×W是最终输出。
通过该设计，SCARF实现自适应上下文聚合同时保持计算效率，使其适用于农业病害识别和杂草检测任务中的骨干集成。
2.3 MEFE
尽管SCARF模块能基于语义线索自适应调整感受野，但在显式捕获边界局部纹理细节方面仍有限制。在真实农业图像中，此限制变得特别关键。例如，病斑边界常与健康组织混合形成模糊光晕阻碍精确定位，而杂草和作物在自然田间条件下常重叠具有锯齿状和交织轮廓。此外，阴影或反射等光照变化进一步降低边界可见性，使传统卷积不足以可靠划分。
为解决此问题，我们设计多尺度边缘特征增强（MEFE）模块，以轻量级和自监督方式显式增强边缘和纹理线索。与固定不可训练的传统边缘算子（如Sobel、Laplacian）不同，MEFE引入跨多尺度的可学习基于差分的操作，实现无需额外边缘注释的粗细边界鲁棒增强。
形式上，给定输入特征图X ∈ RB×C×H×W，MEFE首先应用多核大小的自适应平均池化获得不同尺度的上下文特征。每个分支执行1×1卷积进行通道缩减，随后是深度可分离卷积以捕获局部空间变异。提取的多尺度特征然后上采样到原始分辨率：
Fi= DSConv(Conv1×1(Poolsi(X)))
其中Poolsi表示核大小为Si的自适应池化。接下来，每个特征图Fi经历边缘增强步骤，模拟数据驱动高通滤波器。具体地，通过平均池化获得的Fi平滑版本从原始特征中减去，产生高频边缘响应Ei：
Ei= Fi- AvgPool3×3(Fi)
该响应通过具有残差连接的轻量卷积子网络进一步细化，确保稳定梯度流和改进纹理建模：
F?i= Fi+ φ(Ei)
其中φ(·)表示用深度可分离卷积实现的轻量残差细化子网络以增强精细边缘结构同时保持计算效率。
最后，所有增强特征F?i沿通道维度拼接并通过1×1卷积融合以恢复通道大小：
Y = Conv1×1([F?1, F?2, …, F?n])
结果输出Y ∈ RB×C×H×W。通过显式增强多尺度边缘线索，MEFE显著改善模糊病斑边界和交织杂草-作物轮廓的划分。这使其对边界敏感的农业视觉任务特别有价值，如病害检测和杂草分割，其中精细结构细节直接影响识别准确性和后续管理决策。
2.4 SEAFEC集成
虽然SCARF模块在建模尺度多样性和不规则形状方面表现出强自适应能力，MEFE模块显式增强边缘和细粒度纹理感知。但在真实农业图像中，病斑区域和杂草目标常同时呈现两种复杂性——大空间范围伴模糊边界。这凸显了对能联合解决尺度自适应性和边界增强的统一设计的需求。
为此，我们将SCARF和MEFE集成到时空-边缘自适应特征增强卷积（SEAFEC）中。具体地，SCARF提供全局感受野调整以捕获多尺度病斑和杂草结构，而MEFE细化局部边缘以确保病害斑点和作物-杂草边界的精确划分。
两个分支的输出FSCARF和FMEFE通过基于注意力的融合机制组合。不简单拼接或相加，我们为每个分支分配通过Sigmoid激活获得的可学习权重α ∈ [0,1]，并计算最终输出为：Y = α·FSCARF+ (1-α)·FMEFE，其中Y ∈ RB×C×H×W是增强特征表示。该自适应加权使SEAFEC能根据输入图像特征动态强调尺度-形状建模或边缘-纹理增强。
通过此双分支融合，SEAFEC在单一框架内统一动态感受野自适应和多尺度边缘增强，显著改进植物病害分类、玉米病害检测和杂草分割的特征提取。
为进一步突出SEAFEC在植物病害和杂草管理中的高效性和通用性，我们在三个互补任务上评估它：病害分类、病害检测和杂草分割。该设计不仅验证SEAFEC跨图像级、目标级和像素级识别的广泛适用性，还展示其在多样条件下持续提供优越性能的强大能力。同时，这些任务直接对应作物保护的实际需求：病害分类支持早期干预的快速病害类型识别；病害检测提供精确定位以实现精准及时治疗；杂草分割确保准确作物-杂草边界划分以指导精准除草。通过此全面评估，SEAFEC被证明是高效通用模块，能支持现代智慧农业的两个基本支柱：植物病害诊断和杂草控制。
3 实验与结果
3.1 实验环境
所有实验在运行Ubuntu 22.04.4 LTS的系统上进行，配备Intel Core i9-14900K处理器（32核）、128 GB RAM和NVIDIA GeForce RTX 4090 GPU（24 GB内存）。为确保实验可控性和可重复性，所有训练和评估程序在单GPU上独立执行，无多GPU并行。软件环境包括Python 3.10、PyTorch 2.3.0、CUDA 12.1和cuDNN版本8902。
3.2 植物病害分类实验
为评估所提模块在植物病害识别中的能力，我们采用广泛使用的PlantVillage数据集作为分类实验基准。病害分类是植物健康管理的基本步骤，支持快速病原类型识别以实现早期干预。PlantVillage包含60,343张叶片图像，覆盖14种作物的38个病害类别，包括苹果黑星病、樱桃白粉病、玉米北方叶枯病和葡萄黑腐病等代表性案例。由于干净背景和清晰定义病斑区域，该数据集广泛用于植物病理学研究，适合在转向更复杂田间图像前隔离和评估模块有效性。为公平评估，数据集按7:2:1比例划分训练、验证和测试集，确保充足训练样本同时实现可靠性能监控和客观评估，为验证SEAFEC在病害识别中的普遍有效性提供坚实基础。
对于分类任务，性能使用准确率、精确率、召回率、特异性和F1分数评估。准确率衡量整体正确性，精确率和召回率反映模型可靠性和识别阳性案例能力，特异性指示避免假阳性能力，F1分数提供不平衡数据集的平衡评估。
网络使用Adam优化器训练，初始学习率1×10-3，批量大小32。当验证性能平台期时学习率降低0.1倍。所有实验随机种子固定为42以确保可重复性。
在提出的SEAFEC模块中，融合系数α初始化为0.6并在训练期间自适应学习。MEFE分支中的池化核大小设置为(2,3,4)用于分类任务。
我们采用ResNet-18作为骨干网络并将所提模块集成到每个BasicBlock的第一个3×3卷积层以增强层次特征表示。
实验结果表明，专注于自适应感受野建模的SCARF模块在分类准确率上产生显著提升（+1.34%），优于边缘增强模块MEFE（+0.64%）。这表明对于高层语义分类任务，准确捕获病斑的全局形状、分布和宏观纹理至关重要——SCARF通过动态调整感受野以关注早期小斑点和大型病斑在此方面表现优异。
当两个模块集成时，SEAFEC增强网络达到最高准确率（97.85%），超过任一子模块单独使用。这验证了SCARF和MEFE在联合特征建模中的互补优势。虽然分类严重依赖全局语义信息，但MEFE提供的细粒度边界线索在区分整体外观相似但边缘细微差异的病害类型中仍关键。SEAFEC中的融合机制提高模型鲁棒性和泛化能力。
此外，此性能优势超越最终准确率延伸至整个训练过程。配备我们模块的模型相比基线收敛更快且达到更稳定准确率。值得注意的是，SCARF和SEAFEC在训练早期阶段展示快速准确率提升，表明其自适应机制使网络能快速聚焦判别性特征，从而加速学习过程。
基线ResNet-18包含11.69M参数。引入SCARF模块导致参数轻微增加+1.4%（11.85M），而MEFE模块显著减少参数30.7%（8.10M）。相比之下，SEAFEC融合设计导致参数大幅增加至15.98M（+36.7%）。
参数变化反映各模块底层设计原则。SCARF仅引入轻量级时空和通道注意力操作，添加可忽略参数增加同时提供清晰准确率提升——展示其效率。MEFE通过用多尺度分组深度卷积替换标准卷积实现最大减少，在紧凑性和特征表示间达到优异平衡。相比之下，SEAFEC因并行处理后的拼接和多层融合大幅增加参数，这使中间通道维度翻倍；但此设计优先考虑准确率，表明计算成本适度增加可转化为特征建模的显著改进。
此协同增强效果通过类别激活图（Grad-CAM）可视化进一步验证。相比基线模型，SEAFEC产生的注意力热图不仅更好覆盖不同尺度病斑区域，而且展示更锐利和聚焦的激活边界——归因于MEFE模块提供的边缘增强。这些结果表明SEAFEC有效捕获目标的宏观结构特征和细粒度边缘细节，从而提高模型在分类任务中的判别能力和表示质量。
3.3 玉米病害检测实验
为进一步评估所提模块在解决真实世界植物病害挑战中的有效性，我们将其应用于CD&S玉米病害数据集，一个专为复杂田间条件下目标检测设计的基准。与干净背景的受控数据集不同，CD&S图像直接在田间捕获，常具有杂乱背景、可变光照和重叠叶片，使病斑定位特别具有挑战性。数据集覆盖三种主要玉米叶部病害：北方叶枯病（NLB）、灰斑病（GLS）和北方叶斑病（NLS），分别有511、524和562张原始图像。为增加多样性和鲁棒性，应用旋转、裁剪、缩放、模糊和噪声添加等数据增强技术，每类图像数量翻倍至1022、1048和1124。增强数据集然后按7:2:1比例划分训练、验证和测试集，使我们能检验SEAFEC在从受控环境转向真实田间图像时是否保持高效性。
与PlantVillage数据集相比，CD&S对检测提出更大挑战，因其包含多个生长阶段的不同形状和大小样本。此外，许多图像包括密集和小目标，使准确检测和定位更困难。
对于目标检测任务，性能使用mAP@50（%）和mAP@50-95（%）评估。mAP@50测量交并比（IoU）阈值为0.5时的平均精度，而mAP@50-95平均IoU阈值从0.5到0.95的精度，提供更全面的检测准确性评估。
为选择合适检测骨干，我们首先对各种轻量级YOLO基模型进行综合横向评估。基于此比较，我们选择YOLOv11n作为主要基线，因其在精度和推理效率间的最佳权衡。此外，YOLOv8n作为广泛采用的检测器保留为次要基线以确保我们发现的普遍性和鲁棒性。
建立基线训练配置后，模型在PyTorch中实现。模型使用SGD优化器训练300轮次，动量0.937，权重衰减5×10-4，初始学习率5×10-3。所有实验使用输入分辨率640×640和批量大小16。为确保可重复性，随机种子设为42并启用确定性模式。
在SEAFEC集成变体中，融合系数α初始化为0.5并在训练期间优化，而MEFE池化核大小设置为(3,5,7)以更好适应CD&S数据集中不同病斑大小。
我们提出的模块集成到YOLO骨干的C2f块中，旨在通过加强时空结构和边界建模从网络早期阶段增强特征表示。
与分类任务中SCARF表现主导性能不同，SCARF和MEFE的贡献在目标检测中变得更平衡。此转变归因于检测任务提出的双重挑战，需要准确类别预测和精确边界框回归。具体地，SCARF通过其自适应感受野机制增强模型对多尺度目标的感知，导致YOLOv11n上mAP@50提高2.4点。同时，MEFE通过显式增强轮廓特征改进定位准确率，实现mAP增益2.2点且不增加任何计算成本甚至轻微减少参数数量。
这些结果表明显式边缘增强是提高检测性能的高效低成本策略——在计算资源受限的轻量级模型中特别有价值。
最终，集成SEAFEC模块再次达到最佳检测性能，mAP@50为77.6%。与分类任务中两个模块扮演清晰区分角色不同，SCARF和MEFE在目标检测中展示同等重要和互补特性。SCARF通过自适应感受野改进模型对多变尺度目标的全局感知，导致更高召回率，而MEFE通过细化边缘细节增强定位准确率。它们的协同作用使模型满足检测的两个核心需求：鲁棒识别和精确定位。
当检测密集和小北方叶斑病（NLS）病斑时，基线模型未能捕获许多目标，导致大面积漏检。相比之下，SEAFEC增强模型成功检测大多数漏检实例。此可视化清晰确认SEAFEC在建模细粒度时空结构和模糊边界方面的强大能力，解决复杂农业环境中小目标检测的挑战。
3.4 杂草分割实验
为全面评估所提模块解决细粒度杂草分割挑战的能力，我们将其应用于Sun等人提供的甘蔗-杂草数据集。杂草分割对区分作物与杂草至关重要，是精准除草的基础。数据集在广西大学农业产业发展研究院实验田的真实田间条件下收集。为确保多样性，图像在多个时间段、不同天气条件和甘蔗不同生长阶段捕获，常具有不均匀光照、遮挡和交织作物-杂草结构。原始图像分辨率6016×4016像素，通过重叠裁剪处理为1024×1024块以提高计算效率，总共23,100张图像。所有图像在像素级手动标注为三类：背景、甘蔗和杂草，分别用伪彩色黑、红和绿表示，为评估SEAFEC在作物-杂草区分中实现精确边界划分能力提供严格基准。
与分类和检测相比，此数据集对分割提出更大挑战，因甘蔗和杂草常呈现相似外观、不规则轮廓和频繁重叠。这要求模型不仅正确分类像素而且要在精细结构级别划分精确边界。对于训练和评估，数据集按60%训练、20%验证和20%测试集划分，确保可靠模型优化和公平泛化评估。
对于分割任务，性能使用每类别的平均IoU（mIoU）和整体mIoU、平均精确率和平均召回率评估。mIoU测量预测与真实区域间平均重叠，平均精确率反映所有预测像素中正确预测像素比例，平均召回率指示所有真实像素中正确预测像素比例。
我们使用经典DeepLabv3框架与ResNet-50骨干作为基线。所提模块嵌入ResNet-50的深瓶颈层以增强高层语义特征提取。
模型训练500轮次，使用SGD优化器，动量0.9，权重衰减1×10-4，初始学习率0.001遵循带热身的调度器。输入裁剪分辨率设为480×480，应用多尺度训练（通过RandomResize）以增强鲁棒性。批量大小为8。此训练配置中未明确指定随机种子。
在SEAFEC集成变体中，融合系数α初始化为0.4并在训练期间优化，而MEFE池化核大小设置为(4,6,8)以有效捕获甘蔗-杂草数据集中的多尺度边缘特征。
相比分类和检测，语义分割需要更高像素级精度，使边界增强特别关键。在测试集中，边缘聚焦的MEFE模块成为性能改进主要贡献者，产生显著mIoU增益+2.3%，远高于SCARF提供的+0.9%。这主要因为分割指标如mIoU对边界准确性高度敏感——作物-杂草边界处的任何误分类、模糊或断开直接影响性能。MEFE的多尺度边缘增强机制有效强化对象轮廓的高频细节，使模型能清晰区分视觉模糊的交织植物结构。
相比之下，SCARF通过提供稳定上下文理解扮演更支持性角色。其自适应感受野使模型能充分捕获大尺度目标区域，防止预测掩码中的碎片或缺失区域，从而为MEFE的细化提供一致语义基础。
总体，组合SEAFEC模块达到最佳性能，测试集上mIoU为90.8%，超越所有其他配置。SEAFEC在所有评估指标领先，尤其在“甘蔗”和“杂草”的类别特定IoU中实现实质增益，分别+4.59和+3.26个百分点。
分割结果从基线的“模糊和纠缠边界”演进至SCARF的“结构恢复”并进一步至MEFE的“边缘锐化”。SEAFEC提供精细杂草和重叠叶片的精确像素级划分。这些结果强验证所提协同增强策略在解决复杂农业条件下边缘挑战分割任务中的有效性。
将所提模块集成到DeepLabV3导致模型复杂性不同影响。SCARF引入参数（+0.6%）和FLOPs（+5.0%）可忽略增加，而MEFE适度增加参数（+4.2%）但实现FLOPs大
