一种具有风险意识的驾驶代理，在城市模拟中运用长短期记忆（Long Short-Term Memory）和碰撞时间预测（Time-to-Collision）机制进行协同决策，并结合多模态信息融合技术

《Engineering Applications of Artificial Intelligence》：A risk-aware driving agent with Long Short-Term Memory and Time-to-Collision co-decision and multi-modal fusion in urban simulation

针对HSI-LiDAR融合分类中标注样本稀缺的问题，本文提出PS2A-FSLNet框架，通过跨域元学习策略结合SAFE和SAMMF模块，有效提升分类精度，并在三个数据集上验证其优越性。

　　

王向海|耿婷婷|刘新月|谢晓涵|赵晓阳|李思瑶

辽宁师范大学计算机与人工智能学院，中国大连，116029

摘要

高光谱图像（HSI）与光检测和测距（LiDAR）数据的融合为高级地球观测提供了互补信息。然而，获取足够的标记样本以训练深度学习模型往往成本高昂，这成为了一个主要瓶颈。为了解决这个问题，我们提出了一种基于感知尺度和选择性注意力的少样本学习网络（PS2A-FSLNet）用于HSI-LiDAR融合分类。我们的框架利用了标记丰富的HSI源域来辅助标记稀疏的HSI-LiDAR目标域。其主要创新包括：（1）尺度感知特征增强（SAFE）模块，通过自注意力机制细化多尺度LiDAR特征；（2）选择性注意力驱动的多模态融合（SAMMF）模块，在融合阶段自适应地选择和融合最互补的HSI和LiDAR特征；（3）跨域少样本学习策略，在不同域之间交替进行元学习以实现有效的知识转移。在极端少样本设置（每个类别5个标记样本）下的广泛实验表明，PS2A-FSLNet在Houston2013数据集上的准确率提高了0.92%，在Trento数据集上提高了0.27%，在MUUFL数据集上提高了0.58%，显著展示了该方法在高光谱和LiDAR融合分类方面的进步。代码将可在https://github.com/TingtingGeng/PS2A-FSLNet获取。

引言

近年来，遥感（RS）成像技术的显著进步使得在同一地理区域内同时获取多源RS数据成为可能，从而通过互补的数据集促进了联合观测和分析（Samadzadegan等人，2025年）。高光谱图像（HSI）具有高光谱分辨率和“光谱-空间统一”特性，能够提供不同地面对象的详细光谱轮廓。通过利用众多窄光谱带，HSI可以准确区分不同类型的土地覆盖，尤其是那些外观相似但光谱响应不同的土地覆盖类型，使其在各种地球观测应用中变得非常宝贵（Zhao等人，2024年）。然而，对于具有高类内变异性的土地覆盖（如沿海湿地），HSI分类容易发生“过分类”现象，即同一土地覆盖类型被错误地分类为不同的类别。此外，由于高光谱传感器的空间分辨率相对较低、穿透能力有限以及无法捕获高程信息，单源HSI在复杂土地覆盖分类任务中存在固有局限性（Moharram和Sundaram，2023年）。例如，HSI本身无法可靠地区分城市环境中的沥青道路和屋顶沥青铺装。光检测和测距（LiDAR）是一种主动RS技术，利用激光脉冲进行地面检测，可以提供精确的三维空间信息（Bolcek等人，2025年）。LiDAR的高空间分辨率和高程数据可以有效补充HSI的光谱信息，从而实现更精确的土地覆盖分类（Wang等人，2025年；Y. Feng等人，2024年）。

随着深度学习在RS中的广泛应用，基于HSI和LiDAR数据的联合土地覆盖分类使用卷积神经网络（CNN）受到了广泛关注。在Morchhale等人（2016年）的研究中，CNN被应用于HSI和LiDAR数据的融合，将LiDAR视为高光谱数据的额外光谱带，然后将连接后的数据输入网络进行特征学习和分类。为了提高联合分类的准确性，Xu等人开发了一种新的双分支CNN架构用于多源RS数据融合和分类，其中HSI的空间和光谱特征通过双通道CNN分支提取，而其他RS数据的空间信息则通过级联网络块提取（Xu等人，2018年）。然而，该模型在后续的特征融合方面存在局限性。此外，Zhang等人提出了交错感知CNN（IP-CNN）以更好地融合异构信息进行联合分类（Zhang等人，2022年）。尽管这些方法提高了融合分类性能，但其有效性严重依赖于足够标记训练样本的可用性。在实际应用中，由于标注HSI所需的时间和劳动力成本较高，有时甚至无法获得足够的标记样本。

少样本学习（FSL）因其能够减少收集大量标记数据的负担而受到特别关注，使模型仅凭有限的标记样本就能有效学习和预测。近年来，研究人员已将FSL应用于使用HSI的地球观测，以应对标记样本有限的挑战。例如，Li等人提出了一种基于图的深度多任务FSL（GDSAFEL）方法，该方法利用图信息捕捉HSI样本之间的内在关系，从而缓解了标记样本稀缺导致的过拟合问题（N. Li等人，2022年）。类似地，Wang等人提出了一种基于双向生成的跨异构域FSL框架用于HSI变化检测（BiG-FSLF），利用来自其他RS数据的跨域知识在少样本约束下增强可学习的变化表示（Wang等人，2023年）。尽管取得了这些进展，但FSL在地球观测研究中的应用仍然具有挑战性。特别是将FSL应用于多源 RS数据融合的研究，尤其是在需要跨不同数据模态（例如从HSI到HSI-LiDAR）进行知识转移的场景中，仍然相对较少。

为了解决多源RS分类中标记样本有限的挑战，本文研究了一种跨域FSL方法用于HSI-LiDAR融合。我们提出了一种新颖的基于感知尺度和选择性注意力的少样本学习网络（PS2A-FSLNet）。我们的框架旨在利用标记丰富的源域（仅包含HSI数据）来增强标记稀缺的目标域（包含融合的HSI-LiDAR数据）的分类能力。通过在不同域之间交替进行片段式训练，模型从源域学习通用的光谱-空间表示，同时适应目标域中存在的特定互补特征。为了有效提取和融合这些互补特征，我们引入了两个关键模块：尺度感知特征增强（SAFE）模块，用于从LiDAR数据中捕获多尺度空间模式；以及选择性注意力驱动的多模态融合（SAMMF）模块。重要的是，与传统的融合方法或在特征提取过程中应用的注意力机制不同，SAMMF模块在融合阶段操作，动态选择并整合最互补的LiDAR特征，从而减少冗余并提高少样本学习的精度。

本工作的主要贡献如下：

(1) 我们提出了PS2A-FSLNet，这是一种端到端的跨域FSL网络，用于HSI和LiDAR融合分类。该框架旨在在标记极度稀缺的情况下有效利用两种模态的互补特征，解决了多源RS分析中的一个关键挑战。

(2) 我们设计了一种尺度感知特征增强（SAFE）模块。该模块使用自注意力机制分层聚合和细化来自LiDAR数据的不同空间尺度的特征，旨在丰富判别性空间特征的多样性，并为后续融合提供优化的多级上下文信息。

(3) 我们提出了一种新颖的选择性注意力驱动的多模态融合（SAMMF）模块。该模块在特征融合阶段操作，自适应地加权并整合HSI和LiDAR中最具有判别性的特征。在注意力机制的指导下，SAMMF旨在最大化多源数据的互补优势，同时抑制冗余或噪声信息，这对于少样本学习场景尤为重要。

本文的其余部分结构如下：第2节回顾了FSL的元学习和HSI及LiDAR融合的注意力机制的相关工作。第3节详细描述了提出的PS2A-FSLNet框架。第4节描述了实验数据集、设置、结果和消融研究。最后，第5节总结了本文。

方法部分

FSL中的元学习策略

FSL是一种元学习方法，旨在仅使用有限的标记样本在训练期间学习能够识别未见类别的分类器。当目标数据只有一个或几个标记样本可用时，通过源数据获得的通用信息（元知识）有助于预测目标数据（Hu等人，2024年）。由于FSL方法不受标记样本数量的限制，它可以通过深入学习提取广泛适用的知识

方法论

本节介绍了提出的PS2A-FSLNet的全面架构和实现细节。如图1所示，它主要由四个主要组成部分构成：权重共享的特征提取器、尺度感知特征增强模块（SAFE）、选择性注意力驱动的多模态融合模块（SAMMF）和跨域FSL。

我们将源域数据表示为，其中$H$和$W$分别代表其空间维度的高度和宽度，$ch1$

实验与分析

本研究综合使用了三个公开可用的多模态RS数据集来评估提出的PS2A-FSLNet的性能。本节详细介绍了这三个实验数据集，然后详细描述了实验配置，并进行了比较实验，结果表明PS2A-FSLNet的有效性及其相对于现有方法的优越性能。最后，进行了系统的消融研究

结论

为了解决HSI-LiDAR融合分类任务中标记训练样本有限的挑战，本文提出了一种新颖的PS2A-FSLNet用于高光谱和LiDAR数据融合分类。该框架专门设计用于最大化提取和利用HSI（丰富的光谱特征）和LiDAR数据（精确的空间细节）之间的互补信息，以实现准确的联合分类。所提出的方法采用双分支网络框架进行整合

CRediT作者贡献声明

王向海：撰写——审稿与编辑、监督、方法论、研究、资金获取、概念化。耿婷婷：撰写——原始草稿、验证、方法论、研究、形式分析、概念化。刘新月：验证、方法论、研究、数据管理、概念化。谢晓涵：撰写——审稿与编辑、可视化、验证、研究、形式分析、数据管理。赵晓阳：监督、方法论、研究

利益冲突声明

作者确认手稿已由所有列出的作者阅读并批准，且没有其他符合作者资格但未列出的人。他们进一步确认手稿中列出的作者顺序已得到所有人的同意。

致谢

本研究得到了国家自然科学基金（项目编号：42371338）和辽宁省教育厅重点科研项目（项目编号：JYTZD2023101）的资助。此外，我们感谢2013年IEEE地球科学与遥感学会数据融合竞赛的组织委员会允许我们使用高光谱和LiDAR数据。