基于证据理论的融合方法，利用InSAR（合成孔径雷达）、光学数据和DEM（数字高程模型）数据，实现对活动滑坡的可靠性感知多模态检测

《Computers & Geosciences》：Reliability aware multimodal detection of active landslides via evidence theoretic fusion of InSAR, optical, and DEM data

多模态遥感数据融合方法HAEFNet通过分层设计提升滑坡检测精度，结合空间一致性交叉注意力和Dempster-Shafer证据理论实现高效异质特征融合与不确定性校正，在青藏高原及四川地区数据集上IoU达75.2%，优于现有方法4.9%。

　　

范玉坤|张宏|徐正轩|张英旭|郭志焕|关少阳|段浩轩|唐一贤

中国科学院航空航天信息研究院数字地球科学重点实验室，北京，100094，中国

摘要

自动识别活动性滑坡对于灾害预防和缓解至关重要，而多模态遥感（InSAR变形、光学图像、DEM）提供了互补的线索以提高检测能力。然而，不同模态之间的异质性和空间错位阻碍了有效的融合，现有模型难以处理模态冲突，常常导致过自信的错误。我们提出了分层注意力证据融合网络（HAEFNet），它将特征级的空间相干交叉注意力（SCCA）模块与决策级的地理空间证据决策模块（GEDM）相结合。SCCA执行像素对齐的双向交叉注意力，以增强互补信息，同时保留模态特定特征并抑制错误的融合。GEDM基于Dempster–Shafer证据理论，学习类别条件下的模态可靠性并产生校准的不确定性，从而提高决策的鲁棒性。我们为中国的青海、西藏和四川滑坡易发地区构建了一个大规模数据集（1013个标注的滑坡；8440对样本）。在该数据集上，HAEFNet的IoU达到了75.2%，F1达到了85.8%，ECE达到了0.042；与第二种最佳方法相比，它的IoU提高了4.9%，校准误差降低了23.6%。因此，该框架共同提升了分割精度、可靠性评估和不确定性校准，为高风险活动性滑坡监测提供了可靠的解决方案。

引言

利用多模态遥感数据通过深度学习自动识别活动性滑坡对于灾害风险管理至关重要（Liu等人，2021a）。整合来自干涉合成孔径雷达（InSAR）的表面变形、光学图像的表面特征和地貌背景以及数字高程模型（DEM）的地形约束等互补信息，是提高检测精度的一条关键途径（Lu等人，2024）。然而，这种方法面临着高风险的地理空间应用所固有的两个关键挑战。首先，这些数据源之间的内在异质性和特征错位阻碍了有效的跨模态特征融合。其次，深度学习模型经常难以处理模态冲突和数据质量变化，导致过自信但错误的决策，从而削弱了它们的可靠性（Guo等人，2017）。

深度学习在已发生和活动性滑坡的检测方面取得了进展。在单模态设置中，InSAR变形率方法可以学习变形模式来标记活动斜坡，但无法可靠地区分非滑坡变形，从而产生误报（Cai等人，2023；Chen等人，2024b；Zhang等人，2024b）。从CNN到Transformer和混合架构的光学模型在多尺度融合、远距离背景和边界划定方面表现出色（Li等人，2024b；Wu等人，2024；Fan等人，2025），但它们主要是事后处理，难以检测到在InSAR中明显但在表面形态中尚不明显的微妙滑坡前变形。这些限制，加上专家使用多种来源的做法，促使人们采用多模态方法，优先考虑InSAR并结合光学图像和DEM来共同检测、验证和绘制不同地形中的活动性滑坡。然而，InSAR/光学/DEM在空间分辨率和物理语义上的强烈异质性导致特征分布不匹配和跨模态对齐不完美，使得有效融合变得具有挑战性。

在视觉和语义分割中，多模态融合分为四种范式（图1）。早期通道合并（Early Fusion）在输入层堆叠模态，这种方法简单但忽略了异质性（Altarez等人，2023；Dabove等人，2024；Li等人，2024a）。它经常传播噪声，污染共享表示。特征级合并在并行分支中提取特征，然后在融合层合并它们（Jiang等人，2018；Liang等人，2023）。这捕获了一些互补性，但缺乏自适应的可靠性加权，因此弱或不确定的线索仍然存在。交换融合强制显式的跨模态交互，改善了信息流（Wang等人，2020）。然而，它可能导致语义漂移和冗余积累。交互式融合，如像素级交叉注意力（Zhang等人，2023）或分层交互（Fan等人，2024），改善了对齐和融合。然而，这些方法具有二次复杂性，限制了扩展到更多模态的能力。在不对齐的情况下，这些方法可能会过度融合冗余特征。因此，多模态活动性滑坡检测需要一种能够有效对齐异质特征、保持单模态区分能力并扩展到额外模态的融合机制。

最近在将深度学习应用于多模态滑坡检测方面的努力强调了这一需求。在早期通道融合方法中，研究人员探索了使用光学遥感和数字高程模型（DEM）数据（Wang等人，2024b）、合成孔径雷达（SAR）图像和光学图像（Chen等人，2024a）以及SAR图像和DEM（Dang等人，2024）的组合进行滑坡检测，通过早期通道融合实现了多模态融合。大多数当前研究采用特征合并融合方法来构建多模态滑坡识别模型。Liu等人（2023）和Wang等人（2024a）通过引入注意力机制增强了多尺度特征融合。Zhang等人（2024a）和Yang等人（2024）设计了双分支网络，分别从多模态数据中提取特征并在中间层进行特征融合，在特定场景中取得了改进。随着InSAR技术在变形监测中的广泛应用，最近的多模态滑坡检测研究创新性地引入了来自InSAR的变形信息，通过早期通道融合增强了活动性滑坡的识别能力（Guo等人，2022；Liang等人，2023；Li等人，2024a，2024c）。尽管取得了近期进展，活动性滑坡映射仍然缺乏一个能够综合考虑RGB图像、InSAR变形和DEM衍生地形信息的可靠性感知多模态框架。此外，这三种模态在空间分辨率、数值尺度和物理意义上高度异质，这常常导致跨模态不一致性，并削弱了模型预测的鲁棒性和校准。

这一困难凸显了一个关键问题：虽然特征级融合可以在模态完美对齐时聚合互补信号，但在现实世界的滑坡检测场景中，局部错位和数据质量不均常常在同一像素产生冲突线索。许多模型使用Softmax分数来估计置信度，这种做法在冲突区域是校准不当和过度自信的，从而产生假阴性和假阳性（Guo等人，2017）。因此，融合特征应伴随着显式的不确定性估计和校准，以提高分割精度和可靠性。

最近在证据深度学习（EDL）模型中的工作通过学习证据强度来处理不确定性，并在不同领域显示出前景（Sensoy等人，2018；Amini等人，2020；Gao等人，2024）。同时，Dempster–Shafer理论（DST）使得证据融合能够明确表示来源可靠性和来源间冲突，并通过折扣和组合规则稳健地聚合它们（Smets和Kennes，1994；Den?ux，2019；Shafer，2020）。然而，在遥感分割中，研究通常仍然是单模态的，或者只是用证据头替换Softmax（Huang等人，2022；Zhao等人，2023）。它们很少在融合过程中在像素和类别级别估计和折扣来源可靠性，这阻碍了由于对齐不完美而导致的不可靠特征的有效抑制。

基于这些挑战，我们提出了HAEFNet，一个将特征级交互与决策级证据融合相结合的分层框架，用于多模态活动性滑坡检测。在特征阶段，空间相干交叉注意力（SCCA）在共享的空间参考下执行像素级的多尺度交互，同时保留单模态分支以减轻错位。在决策阶段，地理空间证据决策模块（GEDM）首先产生每个模态的预测及其量化的不确定性，然后通过可靠性加权的证据将它们聚合，以产生准确且校准良好的活动性滑坡分割。该设计有效地融合了对齐区域的相关特征，同时保留了单模态信息，并在证据聚合之前对冲突线索进行可靠性加权，从而抑制了过度自信并产生了精确、可信的活动性滑坡地图。

本研究的主要贡献总结如下。首先，我们提出了HAEFNet，一个考虑可靠性的活动性滑坡检测框架，能够有效融合InSAR、光学和DEM数据。其次，我们设计了空间相干交叉注意力（SCCA）模块。它执行高效的像素级交互以增强互补特征，同时抑制由空间错位引起的噪声。第三，我们基于Dempster-Shafer理论开发了地理空间证据决策模块（GEDM）。该模块通过估计不确定性并基于学习到的可靠性融合多源证据来提高决策的鲁棒性。第四，我们构建了一个覆盖中国三个主要滑坡易发地区的大规模多模态数据集，并证明了HAEFNet在精度和泛化能力上优于现有方法。

部分片段

多极化SAR数据的表示

我们选择了中国西部的三个典型的滑坡易发区域作为研究范围，总面积约为250,000平方公里（图2）。这三个区域位于青海、西藏和四川。在西藏研究区域，包括马克县和贡乔县等9个县和城市。在四川研究区域，包括康定市和雅江县等17个县和城市。这些区域跨越了青藏高原向

概述

如图3所示，我们的流程包括三个阶段：（i）从Sentinel-1时间序列生成和评估InSAR变形图，与Sentinel-2 RGB和Copernicus GLO-30 DEM共同准备，形成一个共注册的多模态数据集；（ii）在变形信号、光学纹理和地形的指导下，由专家标注活动性滑坡；（iii）训练和评估所提出的HAEFNet，该网络执行特征级交互和决策级证据

数据集

根据第3.3节描述的活动性滑坡注释，我们构建了一个多模态补丁数据集。每个样本包含共注册的InSAR平均LOS率、RGB光学图像、DEM和二进制掩码。使用一个$128\times 128$窗口，步长为96，我们获得了8440个补丁（4220个阳性；4220个在活动斜坡单元内的阴性）。

我们评估了两种分割方式。随机分割：将空间相邻的补丁分组以避免泄漏，然后以7:3的比例分割。跨区域分割：在两个区域上进行训练

性能和效率分析

效率是在广阔的地质调查中部署深度学习模型的前提。如图14所示，现有的交互密集型模型（如PACSCNet）虽然实现了高精度，但遭受了二次复杂性的限制。这种计算负担严重限制了它们在大规模测绘任务中的部署能力。相比之下，HAEFNet获得了75.2%的优越IoU，同时保持了显著降低的计算成本7.9 GFLOPs。这一结果表明

结论

本文解决了多模态遥感中活动性滑坡检测的两个核心挑战：有效融合异质特征和避免过度自信的错误分割。我们提出了HAEFNet，它整合了InSAR变形率、光学图像和DEM数据。HAEFNet采用双阶段设计：SCCA实现了高效的特征级跨模态交互和融合，基于DST的GEDM执行了基于可靠性的自适应决策分割。

在大规模上的实验

CRediT作者贡献声明

范玉坤：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，方法论，数据分析，概念化。张宏：撰写 – 审稿与编辑，项目管理，方法论，调查，资金获取。徐正轩：撰写 – 审稿与编辑，项目管理。张英旭：撰写 – 审稿与编辑，概念化。郭志焕：撰写 – 审稿与编辑，方法论。关少阳：撰写 – 审稿与编辑，概念化。

计算机代码可用性

代码名称：HAEFNet（分层注意力证据融合网络）。

编程语言：Python（PyTorch后端）。

所需软件：Python ≥3.8，PyTorch ≥1.12，CUDA，GDAL/rasterio等。

许可证：MIT许可证。

代码仓库和文档：HAEFNet的完整实现以及训练/预测脚本可在以下地址公开获取：https://github.com/SAR-Disaster/HAEFNet

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了中国国家重点研发计划（项目编号2021YFB2300502）的支持。