基于规则语义的生成式校准模糊检测方法在无人机图像中的应用

图像模糊检测的多场景适应性优化方法研究

　　

摘要：

模糊检测是一种用于评估无人机（UAV）监控和侦察活动中图像质量的新方法。然而，现有方法由于深度学习模型过度依赖有限数据集中学习到的先验知识，缺乏多场景适应性，这降低了它们对不熟悉条件的适应能力。为了解决这个问题，将去噪扩散隐式模型（DDIM）与一种称为基于规则的语义校准（RSC）的范式相结合，创建了基于规则-语义的生成式校准模糊检测（RSGC-BD）方法。该方法通过迭代校准过程生成稳健的模糊检测图，从而增强了泛化能力。与当前的模糊检测（BD）方法不同，后者通过单次前向传播将像素分类为模糊或清晰，而所提出的方法使用基于DDIM的生成模型来迭代地创建和细化BD图。通过利用RSC中的迭代校准过程，在每一步将基于规则的模糊掩码集成到生成的语义结果中，该模型确保了高精度的模糊预测、增强的多场景适应性和显著提高的推理速度。此外，我们提出了一种转换模块，即自适应RGB到灰度的转换级联（ARGC-Cascade），通过自适应集成将RGB图像转换为灰度图像，突出显示模糊区域并提高检测精度。这种模糊特征的增强是通过在图像转换过程中平衡光谱通道权重来实现的。所提出的RSGC-BD方法的优越性能通过在四个高分辨率BD数据集上的广泛测试得到了验证，包括新引入的UAV-BD数据集。源代码可在以下链接获取：https://github.com/udrs/RSGCBD

引言

图像中的模糊检测（BD）包括由焦点不正确引起的散焦模糊，以及由于相机或场景中物体的移动而产生的运动模糊。在无人机（UAV）图像中准确识别模糊非常重要，因为它影响对象识别、导航和监控等操作[1]。因此，已经开发了许多优秀的BD方法来提高检测的精度和可靠性。梯度域和频域特征是传统基于规则BD方法的重要组成部分[2]、[3]。然而，这些传统方法受限于它们对低级特征的关注，从而忽略了高级语义洞察的潜力。例如，这些手动技术在某些边界清晰（对焦）和模糊区域之间界限明显的情况下才有效。通常，它们无法检测到缺乏与清晰区域明显边界的平滑模糊区域[4]。因此，这些问题导致模糊检测结果受到显著噪声和不准确性的影响，特别是在边缘描绘方面，如图1-(1)-c所示。图1.

(1-a) 显示复杂图案的原始RGB图像，(1-b) 真实情况。(1-c) 传统基于规则的BD方法未能检测到任何模糊的结果。(2-a) 无人机拍摄的RGB图像，其绿色通道包含重要信息。(2-b) 真实情况。(2-c) 由于绿色通道的权重分配不当，模糊特征丢失。注意：在所有BD图中，白色表示非模糊区域，黑色表示模糊区域。