MrsNet：结合空间-光谱掩码网络的多尺度双域重建技术，用于高光谱异常检测

《Pattern Recognition Letters》：MrsNet: Multi-scale dual-domain reconstruction with spatial-spectral masked network for hyperspectral anomaly detection

　　

赵哲|宋江璐琦|周慧心|朱勇

西安电子科技大学物理学院，中国西安，710000

摘要

近年来，基于重建的方法在超光谱异常检测（HAD）领域取得了显著的成功。然而，由于背景的复杂性和异常像素的干扰，准确恢复高质量背景仍然具有挑战性。此外，光谱变化和未充分利用的频域信息往往限制了检测性能。为了解决这些问题，本文提出了一种多尺度双域重建网络，该网络采用空间-光谱掩蔽策略用于HAD，名为MrsNet。具体来说，首先引入了空间-光谱掩蔽（SSM）模块，以减少异常和光谱变化对特征提取的影响。然后设计了多尺度双域特征交互模块（DFIM），通过提取和整合空间域和频域的多尺度特征来模拟复杂背景。具体而言，使用多尺度卷积块提取空间特征，并采用多尺度改进的小波卷积提取频域特征。此外，通过特征交互将不同域的特征完全整合在一起。为了补偿掩蔽可能导致的背景损失，引入了基于平滑先验的模块（SPM），利用局部均匀性辅助解码器进行背景重建。最后，通过计算输入的高光谱图像（HSI）与重建背景之间的马氏距离来识别异常。在四个超光谱数据集和两个无人机数据集上的实验结果表明，与九种最先进的方法相比，MrsNet的有效性更高。

引言

超光谱异常检测（HAD）是超光谱图像（HSI）分析中的关键技术，应用于矿产勘探、环境监测和海上搜寻等领域[1]。异常目标通常与其复杂的背景有显著的光谱差异[2]，而这些背景在图像中分布稀疏。多年来开发了许多算法，这些算法可以分为传统方法和基于深度学习的方法[3]。

传统方法依赖于手动设计的特征来区分背景和异常，以便后续检测[4]。其中，基于统计的检测器通常假设背景遵循特定的参数分布，并使用距离度量来检测异常，Reed–Xiaoli（RX）检测器就是一个典型的例子[5]。然而，由于实际HSI背景的光谱异质性，用单一分布准确建模复杂背景具有挑战性，这限制了统计方法在该场景中的性能。基于表示的方法通过重建误差来重建背景和检测异常，包括协同表示（CR）[6]、稀疏表示（SR）[7]和低秩表示（LRASR）[8]。然而，这些技术通常需要大量的参数，而这些参数的最佳值在不同场景中差异很大，限制了它们的实际应用[9]。

近年来，基于深度学习（DL）的方法引起了广泛关注[10]，采用了卷积神经网络（CNNs）[11]、自编码器（AEs）、生成对抗网络（GANs）、Transformer、Mamba和扩散模型等架构进行异常检测[12]。例如，李等人率先采用CNN进行异常检测，通过从参考数据中学习差异表示并输出差异分数[13]。为了抑制异常像素的重建，Auto-AD利用全卷积层提取特征，并结合损失函数来抑制异常像素的重建[14]。同样，Blind Spot Network[15]、引导式AEs[16]、记忆AEs[17]和掩蔽AEs也被探索用于进一步抑制异常重建[18]。

尽管上述方法取得了显著的准确性，但大多数方法仍受到两个关键限制的阻碍，这限制了性能的进一步提升。(1) 背景干扰的抑制效果不佳。虽然一些方法使用掩蔽来减轻潜在异常的影响，但它们往往也会无差别地抑制背景像素。由于背景类别内的光谱变化较大，这增加了类别内方差并降低了背景与异常之间的区分度，最终影响了特征提取的准确性。(2) 背景重建的保真度不足。大多数方法优先抑制异常重建，而忽略了准确的背景恢复。鉴于背景的高光谱-空间复杂性和实际HSI中噪声的普遍存在[19]，实现高保真度的背景重建仍然具有挑战性，这直接影响了检测准确性。因此，有效抑制异常重建同时确保高质量的背景恢复是进一步提高HAD性能的关键。

为了解决这些限制，本文提出了一种用于HAD的多尺度双域重建和空间-光谱掩蔽网络。如图1所示，与现有方法不同，我们的方法在输入阶段就在空间域和光谱域抑制了潜在的异常像素，然后通过在潜在空间中的双域特征交互来增强背景表示。具体来说，针对问题(1)，我们设计了空间-光谱掩蔽策略（SSM）。在空间域，使用RX检测器抑制潜在异常。同时，通过光谱维度上的均值滤波减少光谱变化。SSM有效抑制了异常像素并减少了背景的光谱变化，从而提高了异常和背景之间的区分度。针对问题(2)，我们设计了双域多尺度特征交互模块（DFIM），该模块可以提取空间域和频域的多尺度背景特征。此外，这些特征通过跨域融合得到全面整合，捕获高层次的语义上下文，以实现稳健的背景建模。此外，在解码过程中，我们对未掩蔽块中的中心像素进行编码并指导背景重建。在这种情况下，背景可以被有效恢复，异常像素的重建进一步减弱。本文的主要贡献如下：

(1) 我们提出了一种空间-光谱掩蔽（SSM）策略，该策略在空间域使用RX检测器抑制潜在异常，并通过光谱域的均值滤波减少光谱变化，从而减少异常像素对后续特征提取的影响。

(2) 我们设计了一种双域多尺度特征交互模块（DFIM），该模块通过空间多尺度卷积和频域多尺度改进的小波卷积提取多尺度背景特征，然后通过跨域融合捕获高层次的语义上下文，以实现稳健的背景建模。

本文的其余部分组织如下。首先，第2节介绍了本文的相关工作。第3节描述了所提出的MrsNet。实验部分和结论分别在第4节和第5节中呈现。

章节片段

相关工作

在本节中，我们首先介绍传统的HAD方法，然后介绍基于深度学习的HAD方法。此外，由于DFIM中的频域分支基于小波卷积，因此在第2.3节中介绍了小波卷积。

提出的方法

所提出的MrsNet的工作流程如图2所示。首先，为了减轻异常像素和光谱变化对特征提取的影响，对输入的HSI应用空间-光谱掩蔽（SSM）模块。然后，将待检测的像素块发送到编码器进行特征提取。编码器由两层1 × 1卷积组成，每层后面紧接着批量归一化（BN）和LeakyReLU激活函数。特别地，

数据集

为了验证所提出的MrsNet的有效性，我们在四个基准HSI数据集（Cat Island、Pavia、Grand Isle和MUUFLGulfport）以及两个来自[41]的无人机数据集上进行了全面实验。这两个无人机数据集是在广州市区100米高度拍摄的，具有400–1000纳米（64波段）的光谱范围，250 × 250的空间大小和0.053米的分辨率。第一个数据集（UHAD-U-I）包含两辆汽车作为异常目标，背景为道路和公园。

结论

在本文中，我们提出了一种基于多尺度双域重建和空间-光谱掩蔽网络的超光谱异常检测方法。首先，通过空间-光谱掩蔽策略，我们减少了异常像素和光谱变化对后续特征提取的影响。随后，我们设计了一种双域多尺度特征交互模块，可以有效地提取背景特征。最后，为了进一步提高背景的质量

CRediT作者贡献声明

赵哲：撰写——审稿与编辑，撰写——原始草案，可视化，验证，软件，方法论，形式分析，数据整理，概念化。宋江璐琦：资金获取，形式分析。周慧心：资金获取。朱勇：形式分析。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

作者感谢康旭东教授和刘思田博士提供实验使用的数据集。本研究部分由中央高校基本科研业务费资助（Grant (QTZX23059)，部分由国家111中心资助（Grant (B17035），部分由国家自然科学基金资助（Grant (12304328），部分由西安电子大学青年教师创新基金资助（Grant (XJSJ23140）。