ACDA：基于解剖结构约束的分布对齐方法，用于实现鲁棒的医学图像分割

《Knowledge-Based Systems》：ACDA: Anatomically constrained distribution alignment for robust medical image segmentation

现有单模态波段选择方法忽略高程信息及特征融合中的信息丢失问题，提出LiDAR引导的多模态融合动态波段选择方法（LGMF-DBS）。通过WTDefconv提取多尺度特征，MSFAFM自适应对齐特征，BCAFM双向跨模态注意力融合，DBSM-TKSA动态选波段，实验表明其在三个公开数据集上分类性能最优。

　　

史翠萍|曾泽新|孙伟伟|史凯杰|朱飞

齐齐哈尔大学通信与电子工程学院，中国齐齐哈尔161000

摘要

现有的波段选择方法大多针对单模态数据设计，这些方法往往忽略了多模态数据集中高程信息的潜在优势，从而导致信息挖掘的全面性和准确性受限。同时，这些方法在特征融合阶段容易丢失关键信息。为了解决这个问题，提出了一种名为“基于LiDAR的多模态融合动态高光谱波段选择”（LGMF-DBS）的方法。首先，提出了一种小波变换可变形卷积（WTDefconv）算法，用于有效捕捉多尺度特征；其次，设计了一个多尺度特征对齐融合模块（MSFAFM），用于自适应地对齐高光谱和LiDAR数据特征；然后，构建了一个双向交叉注意力融合模块（BCAFM），用于有效融合高光谱和LiDAR数据；最后，设计了一个基于Top-k稀疏注意力（DBSM-TKSA）的动态波段选择模块，用于自动学习波段权重并选择最优波段。大量实验表明，与其他先进方法相比，所提出的波段选择方法在三个公开数据集（Houston 2013、Trento和MUUFL）上取得了最佳的分类性能，充分证明了其有效性。

部分内容摘录

引言

遥感技术发展于20世纪60年代，旨在实现对地球的全面观测。它利用物体反射或发射的电磁波的固有特性，在不直接接触的情况下识别、测量和分析远距离目标的各种属性。它可以揭示地球表面各种元素的空间分布特征和时空变化模式[1]。高光谱图像（HSI）和LiDAR数据是两种重要的遥感数据类型

相关工作

研究表明，将HSI和LiDAR数据融合可以显著提高各种遥感应用的性能，如土地覆盖分类、目标检测和环境监测。在本节中，我们简要介绍了一些与本研究相关的高光谱波段选择和数据融合方法。

方法论

所提出的基于LiDAR的多模态融合动态高光谱波段选择方法（LGMF-DBS）的总体结构如图1所示。如图1所示，LGMF-DBS包括两部分：双分支多模态交叉特征融合模块（DBMCFM）和动态波段选择策略（DBSS）。首先，DBMCFM分别使用WTDefconv捕捉HSI和LiDAR数据的多尺度特征；然后，通过MSFAFM对齐这些多尺度特征；最后，使用BCAFM进行融合

实验与结果分析

在本节中，将所提出的方法与其他一些先进的波段选择方法在三个公开数据集上进行了比较。此外，还介绍了三个公开数据集和实验设置。

结论

与现有的高光谱图像波段选择方法不同，本文提出了一种基于LiDAR的多模态融合动态高光谱波段选择方法。首先，为了解决提取多尺度特征时局部感受野有限和细节信息丢失的问题，提出了WTDefconv算法，该算法可以扩展感受野，捕捉不同频率域的多尺度特征，并克服标准卷积在特征捕捉方面的局限性

CRediT作者贡献声明

史翠萍：撰写 – 审稿与编辑，撰写 – 原稿，监督，资金获取，概念构思。曾泽新：撰写 – 原稿，软件开发，方法论研究，数据分析，数据管理。孙伟伟：撰写 – 审稿与编辑，监督，项目管理，资金获取。史凯杰：验证，资源协调，研究调查。朱飞：验证，软件开发，数据分析。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

史翠萍报告称获得了中国国家自然科学基金（项目编号42271409）的财务支持；史翠萍还报告获得了湖州科技计划项目（项目编号2024GZ36）的财务支持。孙伟伟报告称部分获得了中国国家重点研发计划（项目编号）的财务支持

致谢

本工作部分得到了中国国家自然科学基金（项目编号42271409）、湖州科技计划项目（项目编号2024GZ36）、中国国家重点研发计划（项目编号2024YFF1400900）、浙江省“先锋士兵”和“领头雁”研发项目（项目编号2023C01027）以及科技创新 Yongjiang 2035 计划（项目编号2024Z262）的资助