《Remote Sensing in Ecology and Conservation》:Deep learning-based super-resolution reconstruction and improved YOLOv9 for efficient benthos detection: a case study at Lake Hamana, Japan
编辑推荐:
本综述针对无人机遥感图像中厘米级小型底栖生物(如寄居蟹)检测的准确性难题,提出了一种创新的解决方案。研究巧妙融合了超分辨率重建(SRR)技术与一种名为V9-BENTHOS的改进型YOLOv9目标检测算法,显著提升了在复杂环境中对微小目标的识别精度,为高效、非破坏性的生态监测提供了新的技术途径。
1 引言
随着遥感与目标检测技术的发展,底栖生物调查手段不断革新。然而,环境干扰带来的精度与成本效益挑战依然存在。以滨名湖的寄居蟹为例,这种体长仅1-2厘米、依赖空螺壳生存的生物,是评估海洋生态系统健康的关键指示物种。传统的生态调查方法(如标记重捕、生物采样)具有破坏性、劳动密集且覆盖范围有限。相比之下,非侵入性遥感技术,特别是无人机结合光学传感器的应用,为中型尺度的生态研究提供了灵活性、可重复性和成本效益俱佳的选择。无人机可生成高分辨率图像,用于检测寄居蟹、海参、贝类等小型底栖生物。
然而,无人机调查也面临国家法规、禁飞区规定对最低飞行高度的限制,这限制了可获取的图像分辨率,影响了检测精度。此外,运动模糊和拖影效应会导致信息部分丢失。传统的图像增强技术(如滤波、直方图均衡化)只能在现有像素信息基础上进行补充。超分辨率重建(SRR)通过增强高海拔遥感图像至接近超低海拔数据的分辨率,解决了这一关键的数据限制问题。深度学习(DL)和计算机视觉(CV)的进步进一步增强了从大型场景中高效识别底栖生物的能力。在众多目标检测算法中,YOLO(You Only Look Once)系列因其迭代式的模块化改进,在小物体检测的精度和速度上均有显著提升,并已广泛应用于水下图像分析。
本研究以日本滨名湖为案例地,提出了一种结合SRR与改进目标检测算法的高效寄居蟹种群调查方法,旨在填补SRR在遥感图像(尤其是针对寄居蟹等厘米级物体)应用方面的空白,为物种保护与生态稳定性的维持提供关键技术支撑。
2 材料与方法
本研究开发了一种集成SRR的综合性生态调查方法,用于高效采集寄居蟹图像并执行目标检测。其系统流程为:首先,在滨名湖东南浅滩,使用DJI Phantom 4无人机在2米、5米和10米三个高度进行航空成像,生成长达48分钟的4K视频。从视频中提取帧以构建高分辨率(HR)数据集。为创建低分辨率(LR)输入,通过双三次插值对HR图像进行下采样,确保成对的HR和LR图像内容一致,便于公平比较。随后,将LR图像输入训练好的SRR模型进行分辨率增强。最后,将生成的超分辨率(SR)图像应用于本研究提出的V9-BENTHOS算法进行寄居蟹检测。
2.1 超分辨率重建
研究选择了五种主流的SRR模型作为基线进行对比实验,包括:超分辨率卷积神经网络(SRCNN)、增强型深度超分辨率网络(EDSR)、残差密集网络(RDN)、残差通道注意力网络(RCAN)和超分辨率反馈网络(SRFBN)。这些模型主要基于卷积神经网络(CNN)、残差网络(ResNet)和生成对抗网络(GAN)三种基本架构。其中,RDN通过密集连接的卷积层提取丰富的局部特征,形成残差密集块的连续记忆,并通过1×1卷积优化特征利用。使用峰值信噪比(PSNR)和结构相似性(SSIM)两项指标来评估网络的重建性能。PSNR用于衡量生成图像的质量,而SSIM则通过亮度、对比度和结构属性来衡量生成图像与原始图像之间的主观结构相似性。
2.2 寄居蟹目标检测
本研究基于YOLOv9,针对寄居蟹等小物体的检测局限性进行了改进,提出了V9-BENTHOS算法。YOLOv9通过引入可编程梯度信息(PGI)模块和广义高效层聚合网络(GELAN)等技术,在保持或提高检测精度的同时优化了计算效率。然而,对于寄居蟹等小物体,标准的YOLOv9划分网格预测的方式可能导致定位误差,且在网格分辨率较低时,目标像素过少导致检测不可靠。
V9-BENTHOS在YOLOv9基础上引入了三个核心模块以增强多尺度表示、扩大有效感受野并减轻小物体信息丢失:
- 1.
双向加权特征金字塔(Bi-GS-FPN):结合了组可分离卷积(GSConv)的轻量化特性和双向特征金字塔网络(Bi-FPN)的多尺度特征融合能力,提升了对小物体细节的敏感度。
- 2.
非对称卷积增强模块(RepNCSPELAN4-AKConv):旨在增强特征提取能力。
- 3.
自适应下采样空洞空间金字塔模块(SPD_ADown):用于改进特征利用和空间信息保留。
模型使用精确率(Precision)、召回率(Recall)和交并比(IoU)为0.5时的平均精度(mAP@50)进行评估。
3 结果
3.1 超分辨率重建结果
在放大因子为×4的条件下,对五种SRR模型在不同飞行高度(对应不同地面采样距离GSD)获取的LR图像进行重建评估。结果显示,在所有测试的GSD(2米、5米、10米)下,RDN模型均取得了最优或并列最优的PSNR和SSIM值。例如,在10米高度图像上,RDN的PSNR达到38.15分贝,SSIM达到88.51%。深度学习的SRR方法在各项指标上均显著优于传统的双三次插值(Bicubic)方法。视觉对比也显示,RDN重建的图像在细节和纹理恢复上效果最佳。
3.2 目标检测性能
将不同方法重建的图像输入V9-BENTHOS进行目标检测。在2米高度的图像上,对HR图像的检测达到了最高精度(96.3%)、召回率(94.1%)和mAP(97.2%)。在SR图像上,所有深度学习SRR模型的检测指标均远高于Bicubic图像。其中,基于RDN重建图像的检测结果最佳,其精确率、召回率和mAP相较于Bicubic图像分别提升了12.3%、17.1%和14.0%,达到94.7%、88.0%和95.5%。检测置信度也显著提高,许多在Bicubic图像中难以识别(置信度<0.5)的寄居蟹个体,在SRR处理后得以成功识别且置信度大幅提升。
3.3 消融实验
为验证V9-BENTHOS中各模块的有效性,进行了消融实验。实验表明,在原始YOLOv9模型基础上逐步添加RepNCSPELAN4-AKConv、Bi-GS-FPN和SPD_ADown模块,模型的精确率、召回率和mAP@50均得到持续提升。完整的V9-BENTHOS模型在参数量仅从50.7M微增至52.7M的情况下,mAP@50从90.4%大幅提升至97.2%,证明了所提模块在提升小物体检测性能方面的高效性。
4 讨论
4.1 小物体检测算法的比较
为了进一步说明V9-BENTHOS的先进性,研究将其与Faster R-CNN、SSD以及从YOLOv3到YOLOv9的多个代表性变体等共10种常用底栖生物检测模型进行了比较。在自建的寄居蟹数据集上,V9-BENTHOS在HR和SR图像上均取得了最高的mAP@50,同时保持了相对较低的模型复杂度和计算成本,展现了其在精度与效率之间的优异平衡。
4.2 SRR放大因子对检测的影响
研究探讨了不同放大因子(×1到×5)对最终检测性能的影响。实验表明,更高的放大因子能提供更精细的图像细节,从而提升检测性能。在5米高度拍摄的小尺寸目标上,SRR的增强效果尤为明显。然而,性能增益在×4和×5之间趋于平缓,而×5的计算成本显著更高。因此,放大因子×4在检测精度和计算效率之间提供了最佳权衡。
4.3 生态学意义与应用
本研究提出的方法对于实际的生态应用具有重要意义。它能够高效、无破坏地获取高分辨率样方数据,用于评估寄居蟹的种群密度和空间分布模式。初步分析显示,滨名湖研究区域内寄居蟹呈现明显的空间异质性和局部聚集分布,这可能与空螺壳的可获得性、底质类型和觅食活动有关。集成SRR与改进YOLOv9的V9-BENTHOS算法,通过增强图像细节和改进小物体检测,有效识别了这些聚集集群中的个体,提高了种群估计的准确性。该方法不仅可用于评估Pagurus minutus等物种的种群状况,也可应用于水产养殖管理,例如通过无人机图像量化个体大小,指导捕捞计划和上市时机。
5 结论
本研究提出了一种将深度学习SRR与改进的YOLOv9框架(V9-BENTHOS)相结合的集成方法,用于高效底栖生物检测。在滨名湖进行的以寄居蟹为对象的实地实验,验证了该方法在真实环境约束下的有效性。在评估的多种SRR模型中,RDN提供了最高的图像重建质量,显著提升了后续检测任务的性能。所提出的V9-BENTHOS模型以最小的计算复杂度增加,实现了卓越的检测精度(mAP@50达97.2%)。消融研究证实了每个模块对多尺度特征提取和感受野扩展的贡献。此外,与十种现有检测算法的比较实验确立了V9-BENTHOS在识别精度和模型效率方面的优越性,尤其是在检测小型底栖生物方面。对不同放大因子的分析也突出了×4是在图像细节和计算成本之间的最佳平衡点。总体而言,该方法为浅水环境中的生态监测提供了一个鲁棒、可扩展且经济高效的解决方案,在使用低成本无人机平台和标准成像设备检测小型海洋生物方面具有广阔的应用前景,有助于支持长期的生物多样性评估和保护工作。