在雾蒙蒙且复杂的场景中，对伪装目标进行多光谱检测

《Pattern Recognition》：Multispectral detection of camouflaged targets in foggy and complex scenes

　　刘宇|程菊|王鹏飞|陈守谦|王舒|黄峰
福州大学机械工程与自动化学院，福州350108，中国

**摘要**
在雾天复杂场景中进行的多光谱伪装目标检测（MSCTD）仍然是一个严峻的挑战，主要原因是难以恢复失真的多光谱信息以及识别能够有效突出伪装目标的异常波段。本研究通过一种系统的方法有效应对了这些挑战，该方法结合了一个改进的波长依赖性消光系数模型和一种自适应异常波段选择方法。我们证明了所提出方法在雾天复杂背景下检测伪装目标的有效性。所有结果均使用在自构建的多光谱和伪RGB伪装坦克数据集以及现有的多光谱-RGB伪装对象语义分割数据集上训练的YOLOv7模型获得。重要的是，所提出的方法具有通用性，因为它可以通过对操作波段的先验知识与先进的基于RGB的去雾技术无缝集成。这种适应性突显了其在雾天MSCTD中的重要性，并在遥感和军事侦察等领域具有广泛的应用前景。

**引言**
近年来，随着多光谱成像仪的发展和实际应用需求的增加，多光谱成像技术取得了显著进展。与传统RGB图像相比，多光谱图像能够有效捕捉目标的基本属性，包括材料组成和分布。图像与光谱数据的结合极大地促进了多光谱目标检测在各个领域的广泛应用，包括自动驾驶[1]、行人检测[2]和资源监测[3]。此外，由于目标和背景之间的光谱反射特性不同，多光谱成像在检测伪装目标方面表现出很高的效率。

多光谱伪装目标检测（MSCTD）可以分为监督学习[4]和无监督学习[5]两种技术。由于背景复杂且检测目标多样，难以提前获得目标和背景的精确光谱信息，因此无监督目标检测（即异常检测[6,7]更为通用，更适合检测城市和丛林等复杂场景中的目标。然而，大多数现有的异常检测方法耗时较长，且主要关注常用的公共数据集，可能不足以应对伪装等更复杂的场景。最近，受到高光谱目标检测和异常检测进展的启发，人们越来越关注专门为多光谱伪装目标设计的检测方法[4,5,8]。这些方法在清晰场景中展示了良好的性能。

然而，雾霾、雾或薄云的存在会导致图像质量下降和光谱失真，这种效应在多光谱图像中尤为严重，尤其是在检测光谱较宽的情况下。尽管在RGB图像去雾方面取得了显著进展[9,10,17]，但大多数现有方法忽略了不同光谱带之间的光衰减差异。因此，缺乏一种有效且通用的方法来从受雾影响的场景中恢复多光谱信息。最近，已经提出了针对雾天RGB图像的目标检测方法[18,19]，但尚未有可行的方法用于雾天条件下的多光谱目标检测，例如选择代表性的波段组合。因此，从浓雾中的复杂场景中准确恢复多光谱信息仍然是一个关键且紧迫的挑战。

深度学习在图像去雾方面显示出巨大潜力[22,23]，但由于缺乏真实的多光谱数据集，其性能受到限制。因此，深度学习不适用于通用多光谱去雾。其他基于物理模型的方法，如暗物体减法（DOS）模型[20]和大气散射（AS）模型[21]，由于模型的通用性而具有一定的去雾能力。DOS模型定义为：
I(x) = J(x) + H(x)
其中x表示图像中像素的位置，I代表相机捕获的雾天图像，J表示需要恢复的清晰图像，H表示所谓的雾厚度图（HTM）。在典型的DOS模型中，利用暗物体来估计每个波段的HTM；然而，暗物体的反射和HTM都依赖于波长。因此，使用波长依赖的暗物体反射无法估计波长依赖的HTM，导致HTM被简单地指定为一个与波长无关的参数[24,25]。AS模型通常定义为：
I(x) = J(x)t(x) + A∞(x)(1?t(x))
其中x、I和J的定义与公式(1)相同。A∞和t分别代表全局大气光和透射率。如模型方程所示，AS模型忽略了波长的影响[26,27]。因此，DOS模型和AS模型都会产生每个波段的多光谱图像的错误雾度或透射率图，从而导致去雾图像仍保留雾度和颜色失真。为了解决这个问题，郭等人[28]提出了一种优化的AS模型，该模型通过波长依赖的经验方程考虑了不同波长对消光系数的影响。然而，这种方法的准确性严重依赖于为特定外推波段估计HTM。尽管这种方法在Landsat-8 OLI多光谱图像数据集上取得了最先进的结果，但经验方程和HTM估计严重限制了该优化AS模型的通用性。此外，作为典型的应用场景，多光谱目标检测可以有效验证多光谱图像去雾方法的准确性。不幸的是，目前尚缺乏针对雾天多光谱目标检测的实现方法。

先前的研究[29]提出了一种波长依赖的消光系数（WDEC）模型，用于恢复浓雾中的多光谱图像。这种方法具有通用性，因为它不依赖于任何经验方程或特定波段选择。在这里，我们提出了一种在雾天条件下检测多光谱图像中伪装目标的方法。所提出的方法主要包括一个优化的WDEC模型和一种自适应异常波段选择（AABS）策略。前者对多光谱图像进行去雾处理，后者帮助识别并构建一个突出伪装目标的伪RGB图像，以方便目标检测。通过改进反射率重建和优化透射率估计，优化的WDEC模型在多种场景中显著提高了其鲁棒性。此外，AABS策略通过重构波段分组工作流程、加速异常检测的计算效率以及提出一种新的异常评估指标，为雾天MSCTD应用实现了定制优化。AABS利用多光谱数据中的光谱信息和波段间一致性，自适应地评估每个波段对异常目标的贡献，这与[30]中报告的多视图聚类策略在概念上相似。基于使用自构建的多光谱和伪RGB伪装坦克数据集（MSPR-CTD）以及现有的多光谱-RGB伪装对象语义分割数据集（MSRCD）训练的YOLOv7[31]，我们提出的方法证明了其在雾天中检测融入高度复杂背景的伪装目标的适用性。其独特之处在于，通过AABS策略选择的波段组合可作为任何先进RGB去雾技术的先验知识。此外，基于先进RGB去雾方法恢复的伪RGB图像可以执行伪装目标检测。因此，该方法在雾天实现了高精度的伪装目标检测，并与任何先进的RGB去雾方法建立了联系，以实现更高性能的目标检测。

与现有研究相比，本工作的最大特点是其在信息恢复方面的显著增强能力，详见补充材料中的S1.1节。据我们所知，本工作报告了在鲜有探索的雾天复杂场景中实施MSCTD的情况。我们坚信，这项工作将显著扩展多光谱成像在模式识别领域的应用范围。

**方法与材料**
所提出的雾天多光谱伪装目标检测方法包含两个模块：去雾方法和波段选择策略（即优化的WDEC模型和AABS策略，如图1所示）。为了训练YOLOv7以实现MSCTD，构建了一个MSPR-CTD。值得注意的是，伪RGB伪装坦克数据集是使用通过AABS从多光谱伪装坦克数据集中选择的波段组合合成的。使用优化的WDEC模型去雾后，...

**实验**
在本节中，我们详细描述了实验设置，包括测试集的组成和实验进行的具体环境。然后，我们讨论了在变化雾天条件下使用WDEC模型和AABS策略组合实现MSCTD的情况。此外，这种集成方法能够与其他先进的基于RGB的去雾技术无缝结合，显著提高了精度。

**结论**
在这里，我们提出了一种新的方法，将优化的WDEC模型与AABS策略相结合，用于检测复杂雾天场景中的多光谱伪装目标。优化的WDEC通过自适应白参考值选择和精细的大气光透射率调整，提高了在复杂环境中的适应性和去雾效果。超越了基本的FNGBS和GAED集成，AABS策略通过定制的波段分组优化了跨域波段选择。

**数据声明**
数据将按请求提供。

**作者贡献声明**
刘宇：撰写——审阅与编辑、撰写——原始草稿、监督、项目管理、方法论、调查、资金获取、形式分析。
程菊：撰写——原始草稿、可视化、软件、方法论、形式分析、数据管理。
王鹏飞：验证、监督、调查、资金获取。
陈守谦：验证、监督。
王舒：验证、监督、调查、资金获取。
黄峰：监督、资源管理。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

**致谢**
本研究部分得到了中国国家自然科学基金（项目编号62305062、62305061）和中国福建省自然科学基金（项目编号2022 J01072、2022 J01540）的支持。