《International Journal of Applied Earth Observation and Geoinformation》：A fusion framework of 3D physical model and InSAR monitoring for mining-induced deformation analysis
编辑推荐：
本研究针对中分辨率光学影像在滑坡变化检测中存在的细节丢失和误判问题，开发了动态多分支滑坡变化检测网络DMLCDNet，通过融合多光谱、形变和地形等多源数据，实现了滑坡的高精度识别。实验表明，该模型在F1分数和IoU上分别提升3.61%和6.91%，具有较强的泛化能力，为基于Sentinel-2的滑坡监测提供了有效范式。
滑坡是全球范围内频发的自然灾害，对人民生命和资产构成严重威胁。Sentinel-2影像作为一种广泛可用的遥感资源，已成为检测滑坡变化的重要工具。然而，其中等空间分辨率常常导致细微地表信息的丢失，限制了滑坡识别的精度。为了克服这一局限，本研究开发了一种动态多分支滑坡变化检测网络（DMLCDNet），该网络集成了三种类型的多模态数据：多光谱、形变和地形信息。
传统的光学影像滑坡检测方法依赖于人工解译或浅层学习模型，这些方法通常难以捕捉复杂地形中的多尺度空间模式和光谱变化，限制了其鲁棒性和泛化能力。相比之下，深度学习提供了端到端的特征提取和强大的非线性建模能力，能够自动从大型遥感数据集中学习层次化、多尺度的特征，而无需手动设计特征。先进的框架，包括卷积神经网络和注意力机制，有效利用空间纹理和光谱对比，整合来自不同地形和多源数据的信息，已成为滑坡制图的主导方法。
大多数深度学习滑坡数据集依赖于高分辨率卫星或无人机影像，这些数据成本高昂且灾后往往延迟获取。中分辨率卫星，如Sentinel-2，提供了具有多光谱波段、宽幅和频繁重访周期的实用替代方案，能够实现对滑坡易发区的快速监测。尽管如此，其较粗的分辨率导致细尺度细节的丢失，并且基于光学的制图容易受到阴影以及滑坡与裸土之间光谱混淆的影响而产生误差，尤其是在复杂地形中。双时相变化检测可以在一定程度上缓解这些问题。
为了应对这些挑战，本研究引入了动态多分支滑坡变化检测网络（DMLCDNet），它将多光谱、形变和地形数据整合为模型输入。检测过程包括四个阶段：初步变化检测、动态特征提取、特征融合优化以及空间-语义恢复。研究基于两个典型事件——同震和极端降雨诱发滑坡——构建了一个多源数据集，并进行了系统实验。结果表明，多光谱、形变和地形特征的组合融合显著提高了模型性能，F1分数和IoU分别提升了3.61%和6.91%。与主流基准模型相比，DMLCDNet在精确率、召回率、F1分数和IoU方面均达到最佳性能，同时保持了快速的推理速度。此外，本研究还考察了输入数据的选择如何影响滑坡提取的结果。在两个真实案例上的额外测试进一步验证了模型强大的泛化能力。
本研究采用了几项关键技术方法。模型核心架构包括固定分支编码器（FBE）、动态分支编码器（DBE）、两阶段特征融合块（TFFB）和多级上采样解码器（MUD）。FBE处理双时相Sentinel-2影像，通过分层下采样提取多尺度光谱特征，并利用双向空间Mamba（BSM）模块进行粗变化检测。DBE使用深度可分离卷积和通道注意力机制提取形变和地形特征。TFFB首先融合形变和地形特征，然后将其与粗光谱变化特征结合以细化检测。MUD利用跳跃连接逐步恢复空间和语义细节，在输入分辨率下生成像素级滑坡变化图。损失函数结合了Dice Loss、Focal Loss、Tversky Loss和Boundary Loss，以解决类别不平衡、边界模糊等问题。数据集基于中国九寨沟、泸定和龙岩三个具有代表性的滑坡事件构建，包含多光谱（Sentinel-2）、形变（Sentinel-1 SAR反演）和地形（ALOS DEM衍生因子）多源数据。
2.1. 概述
为了整合多光谱、形变和地形数据，我们提出了具有四个核心阶段的动态多分支滑坡变化检测网络（DMLCDNet）。固定分支编码器（FBE）对双时相Sentinel-2图像进行四级下采样，提取光谱特征并将其投影到选择性状态空间模型（SSM）域进行粗变化检测。动态分支编码器（DBE）使用深度可分离卷积和通道注意力提取形变和地形特征（N个动态输入）以增强多模态表示。两阶段特征融合块（TFFB）首先融合形变和地形特征，然后将其与粗光谱变化特征结合以细化检测。多级上采样解码器（MUD）使用跳跃连接逐步恢复空间和语义细节，在输入分辨率下产生像素级滑坡变化图。
2.2. 固定分支编码器（FBE）
固定分支编码器（FBE）通过分层下采样处理双时相Sentinel-2影像以提取多尺度光谱特征。编码器包含两个分支，分别处理滑坡前和滑坡后图像，允许根据特定数据需求灵活选择光谱波段。这种双分支设计有效捕获了图像时相之间的时间差异，生成粗变化特征，同时保留多级光谱图以支持解码过程中的空间-语义恢复。FBE采用多级特征提取架构，其中标准卷积被深度可分离卷积（DSConv）取代，以减少参数和计算量，同时保留感受野和表示能力。滑坡前和滑坡后图像首先通过初始特征映射层，然后经过几个“深度可分离卷积、批量归一化、ReLU”块，逐步细化和下采样特征，以产生不同分辨率的光谱图。来自两个分支的特征图被合并并馈入双向空间Mamba（BSM）模块以提取粗级别变化特征。
2.3. 动态分支编码器（DBE）
动态分支编码器（DBE）主要用于处理形变和地形特征。动态分支的数量可以根据可用数据的类型和数量灵活配置。每个分支对应一种形变或地形特征，能够高效提取多源非光谱信息并进行尺度对齐，确保与固定分支提取的光谱特征无缝集成。DBE包含四个下采样模块，其中前三个共享相同的架构。输入特征通过初始特征映射层后，经过“深度可分离卷积、批量归一化、ReLU”块处理，逐步下采样并提炼特征。每个模块内部包含一个残差卷积块以防止下采样过程中的信息丢失。每个动态分支采用对称的一对一架构，将单个输入因子映射到特定的输出特征集。这种结构设计具有双重目的：首先，它确保每个数据分支被平等加权，从而提供一个受控环境来系统研究不同输入模态对滑坡提取性能的贡献；其次，模块在此阶段保留这些特征集的 distinct 特性以促进后续的深度融合，该集成后来通过离散余弦变换（DCT）的协同组合在后续模块中执行，确保更精细的空间-频率特征交互。
2.4. 两阶段特征融合块（TFFB）
为了充分利用多源特征之间的互补性并增强融合过程的自适应性，设计了两阶段特征融合块（TFFB）。遵循“动态到固定”的两步策略，TFFB首先融合动态特征，然后将其与固定光谱特征集成，有效缓解数据源之间的异质性并提高滑坡变化检测性能。首先，所有动态特征图被拼接并投影以匹配固定分支的通道维度。拼接后的特征使用1×1卷积进行压缩，并调整到固定的空间大小。然后，应用离散余弦变换（DCT）将特征从空间域投影到频率域，实现高低频解耦。随后，频域响应特征通过两个全连接（FC）层产生通道注意力权重。然后通过通道重新加权在频域中增强动态特征，接着使用1×1卷积恢复通道维度，并通过残差连接进行特征细化。最后，融合后的动态特征与来自固定分支的粗变化特征集成，获得最终的多源融合表示。这种两阶段融合策略不仅保留了多模态信息的互补性，而且显著提高了滑坡变化检测中特征集成的适应性和准确性。
2.6. 损失函数
为了解决滑坡变化检测中的关键挑战——严重的类别不平衡、模糊的边界预测、混淆样本的高误分类率以及小尺度滑坡的遗漏——本研究提出了由四个加权分量组成的混合损失函数。（1）Dice Loss：量化预测输出与真实值之间的重叠，从而有效改善小滑坡区域的检测。（2）Focal Loss：对困难样本分配更高的权重，从而缓解类别不平衡的影响。（3）Tversky Loss：通过引入可调参数来调节与假阴性（FN）和假阳性（FP）相关的惩罚，从而适应不同的滑坡特征。（4）Boundary Loss：利用Sobel算子提取边缘像素，并在边界区域内计算距离加权的二元交叉熵以增强边缘精度。最终的混合损失函数是这四个分量的加权和，通过大量实验测试确定了最优权重比（Dice: 2, Boundary: 1, Focal: 4, Tversky: 2），在加速收敛和实现最高验证IoU之间取得了最佳平衡。
3.1. 实验数据集准备
为评估所提方法在不同触发机制和地形条件下的鲁棒性，选择了三个具有代表性的滑坡事件——九寨沟、泸定和龙岩——作为研究案例。这三个研究区在触发机制（地震 vs. 降雨）、地形形态（山地-河谷-丘陵）和植被覆盖方面表现出显著差异和互补性。这种多样性允许在变化环境条件下全面验证所提出的多源数据融合方法，展示了其鲁棒性和泛化能力。数据预处理整合了多光谱（Sentinel-2）、形变（Sentinel-1 SAR）和地形（ALOS DEM）数据。所有数据集被投影到WGS84，使用双线性插值重采样至10米分辨率，并归一化到[0,1]。图像和标签被划分为256×256的图块以确保空间对应。应用数据增强（翻转、添加噪声）以增强鲁棒性，同时排除包含过多无效值的图块以提高训练效率。
3.2. 实验设置
实验在Windows 10系统、双NVIDIA GeForce RTX 2080Ti GPU、PyTorch 2.2环境下进行。样本按70%:15%:15%的比例通过分层随机抽样分配给训练集、验证集和测试集。网络使用AdamW优化器进行训练，初始学习率为0.001，最大 epoch 数为1000。为缓解过拟合，采用了早停策略，耐心值为60个 epoch。使用精确率（P）、召回率（R）、F1分数和交并比（IoU）四个指标进行定量评估。
4.1. 对比实验结果
为了评估可靠性，将DMLCDNet与几种最先进的方法进行了比较，包括ChangeFormer、BIT、C2FNet、CDNeXt、ChangeMamba、DMINet、HRSICD、SEIFNet、UA-BCD和USSFCNet。所有比较模型都经过调整以支持多波段输入。结果表明，DMLCDNet在精确率（93.94%）、召回率（94.73%）、F1分数（94.33%）和IoU（93.69%）方面均优于所有基线模型，同时保持了高效的推理速度（55.23 FPS）。可视化结果和错误分析（假阳性FP和假阴性FN比率）进一步表明，DMLCDNet能够更准确地描绘滑坡边界，并有效减少复杂地形下的遗漏和误判。
4.2. 最优输入波段组合探索
本研究整合了13个光谱波段、6个形变波段和6个地形波段。进行了大量实验以评估不同波段组合的影响并确定最佳多源配置。实验表明，添加光谱、形变或地形信息均比仅使用Sentinel-2可见光波段（B2–B4）显著提高了所有指标。结合所有三种数据类型获得了最高性能。地形数据的贡献最为显著。在多光谱数据中，B1–B5组合（四个10米波段和一个20米波段）实现了所有指标的最高分，优于RGB、10米组合、20米组合和全13波段输入。对于形变和地形数据，使用所有波段都能获得最佳结果。分析表明，波段选择应遵循三个原则：信息丰富、可分离性高、相关性强。
4.3. 特征图可视化
类别激活图（CAM）可视化显示了DMLCDNet在不同阶段如何逐步捕获滑坡特征。在特征提取过程中，FBE突出了灾前和灾后图像中的高频结构（点、线、面），但也激活了非滑坡区域。随着FBE的加深，CAM显示出更丰富的空间特征，但伴随一些噪声。经过初步变化检测（BSM）后，低置信度的激活被抑制，仅保留突出的滑坡区域。在TFFB中，来自DBE的形变和地形特征与粗FBE特征融合以增强空间细节。虽然跳跃连接可能传播一些噪声，但解码器的CAM越来越与真实的滑坡分布一致。到第二个解码阶段，核心滑坡区域出现强激活。经过最终卷积后，CAM激活集中在滑坡边界上，显著提高了变化检测的准确性。
5.1. 消融实验
5.1.1. 关键模块的有效性
在这多模态融合框架中，两个关键模块——BSM（用于FBE中的粗变化提取）和DCT（用于TFFB中的形变-地形融合）——被设计用于改进多源特征集成。消融研究评估了它们各自和组合的效果。结果表明，两个模块都显著增强了性能。一起使用时，精确率、召回率、F1分数和IoU分别提高了3.02%、0.79%、1.92%和3.78%。单独使用时，DCT的贡献大于BSM。检查三个滑坡测试集的个体表现，基线模型在震发性滑坡事件（九寨沟和泸定）上的性能显著低于降雨诱发事件（龙岩）。然而，经过BSM和DCT模块优化后，三个事件的评估指标变得大致相当。这表明所提出模型的最终性能主要取决于BSM和DCT对地震滑坡提取的优化能力。结合可视化结果，很明显，虽然龙岩事件的配置之间性能差异很小，但没有BSM或DCT的基线为九寨沟和泸定产生了明显更多的假阳性和假阴性。集成任一模块都能有效减少误分类像素，显著提高检测精度。
5.1.2. 不同损失函数的有效性
此外，对本研究采用的四个损失函数进行了消融研究，以确定最优加权组合。实验表明，当所有权重相等时，Boundary loss的量级显著大于其他损失，导致总损失被其主导，阻碍了其余三个损失函数的收敛。测试了各种加权配置，包括排除特定损失分量和基于观察减少Boundary loss的权重。结果表明，完全排除Boundary loss会导致收敛速度明显变慢和波动更大。通过大量经验测试，确定Dice、Boundary、Focal和Tversky loss的权重比为2:1:4:2时，在加速收敛和实现最高验证IoU之间取得了最佳平衡。
5.2. 复杂环境中的应用
滑坡事件的地理环境通常非常复杂，仅凭光学影像难以准确划定滑坡边界。本研究融合了多光谱、形变和地形信息，有效提高了滑坡变化检测的准确性。分析了三种典型场景——时间变化、历史滑坡干扰和复杂土地覆盖。在第一种场景中，时间变化导致光照和植被物候变化，进一步模糊了滑坡边界。基线模型在边缘处表现出显著错误。添加多光谱和地形数据减少了假阳性，但无意中增加了某些区域的遗漏错误。形变数据引入的可忽略的新错误，但单独使用时整体改进有限。然而，当集成两种或更多类型的辅助信息时，提取精度显著提高。在第二种场景中，历史滑坡的干扰在基线模型中尤为明显。添加任何单一的辅助数据源都显著提高了提取精度。包含更多的多模态输入进一步纠正了误报。对于第三种场景，复杂土地覆盖的影响涉及滑坡与裸地或道路等特征之间的光谱混淆。尽管如此，与前面两种场景相比，复杂土地覆盖的影响相对较小，多模态融合成功解决了大部分模糊性。
5.3. 案例研究
为了进一步评估DMLCDNet的泛化能力，选择了两个未用于训练的独立滑坡：印度科达古滑坡和中国金沙江滑坡，评估多源特征融合的价值。科达古事件（2018年8月15日）由降雨引发，强烈的季风降水使土壤饱和并导致广泛的浅层滑坡。该地区为低山丘陵地形，混合土地覆盖（茶园、森林、聚落）。滑坡沿沟谷和山坡呈条带状分布，光谱特征与裸地和农田相似，对抑制光谱干扰提出了挑战。金沙江事件（2018年10月10日）由构造和河流侵蚀触发，形成了大规模滑坡和天然坝。崎岖的横断山区地形以变质岩为主。灾后裸露的基岩和河流沉积物具有相似的光谱特征，使滑坡识别具有挑战性。实验结果表明，多源融合在两个案例中均带来明显收益。在科达古和金沙江，同时包含形变和地形特征使F1分数分别提高了4.07%和1.68%，IoU分别提高了4.32%和2.87%。可视化结果证实，DMLCDNet能够准确描绘滑坡范围，同时有效抑制噪声，受益于形变和地形信息的融合，模型能够正确区分由河床沉积物堆积引起的光谱变化和实际的滑坡特征，实现了更鲁棒和可靠的滑坡检测。
6. 局限性
尽管DMLCDNet在大多数评估场景中表现出鲁棒的性能，但在实验过程中也发现了一些需要改进的地方。主要局限性在于卷积神经网络的边缘效应。由于卷积操作依赖于像素的邻域信息，图像边缘像素的“感受野”会超出图像物理边界，通常需要进行填充（如零填充），但这些填充值是合成的，与真实地表光谱特征存在较大偏差，可能导致边缘区域的提取不完整或不精确。在实际应用中，一种可行的策略是在相邻输入图块之间实现特定的重叠，并对重叠区域应用均值滤波方法。此外，样本注释的复杂性和高成本仍然是滑坡变化检测中持续存在的挑战。未来的研究应探索集成自监督或无监督学习范式，以减轻对大规模标记数据集的严重依赖。
7. 结论
Sentinel-2和其他中分辨率卫星为滑坡监测提供了宝贵的数据，但面临着阴影、光谱混淆和粗分辨率的挑战。为了解决这些问题，我们提出了DMLCDNet，一个融合多光谱、形变和地形特征的多源融合框架，用于准确高效的滑坡变化检测。在同震和降雨诱发滑坡上的实验表明，DMLCDNet在准确性和速度上均优于现有模型，展示了跨区域的强大泛化能力。确立了最优特征选择的三个原则——信息丰富、可分离性高、相关性强。总之，DMLCDNet为灾后滑坡评估提供了一种实用、低成本的解决方案，并为未来的智能地质灾害监测和快速应急响应奠定了基础。
该论文发表在《International Journal of Applied Earth Observation and Geoinformation》。
