基于对比度的多模态融合技术在自主月球车感知中的应用：高效障碍物分割

《Pattern Recognition Letters》：Contrast-Driven Multi-Modal Fusion for Autonomous Lunar Rover Perception: Efficient Obstacle Segmentation

月球障碍分割多模态融合|语义对齐|对比学习|跨模态交互|高效实时性

　　

肖峰蛟|张慧|曾志文|卢慧敏|周宗堂

国防科技大学，410073，长沙，中国

摘要

在极端非结构化的月球环境中，准确高效地感知正面和负面障碍物对于月球探测车的安全自主导航至关重要。现有的多模态融合方法常常存在模态间语义不对齐的问题，这限制了RGB数据和深度数据互补信息的充分利用。为了解决这个问题，我们提出了LuOS，这是一个高效的两阶段多模态特征融合框架，用于月球障碍物分割。该框架首先采用对比驱动融合模块，利用预训练的RGB特征通过对比学习来引导深度特征的学习，从而实现精确的跨模态语义对齐。随后，跨模态交互融合模块将对齐后的特征融合在一起，以充分利用它们的互补信息。在专门为月球环境设计的LunarSeg数据集和真实世界道路NPO数据集上的广泛实验表明，LuOS取得了先进的性能。值得注意的是，LuOS保持了高实时推理能力，这对于机器人的决策制定至关重要，同时展现了从月球环境到陆地环境的强泛化能力，验证了其在自适应机器人感知中的有效性和实用性。

引言

月球探索已成为深空探索的核心前沿和全球研究焦点。其中心是多模态数据融合，它使得月球探测车能够在具有挑战性的非结构化月球环境中实现安全自主导航。[1]然而，自主月球探索不断面临月球表面环境带来的严峻挑战。为了实现月球探测车的自主导航和安全运行，准确高效地分割正面和负面障碍物（例如月球岩石和陨石坑）是一个不可或缺的核心技术前提。它为路径规划、障碍物避让决策和运动控制系统提供了精细且关键的环境感知信息，从而为确保月球探测车在复杂月球表面环境中的自主、安全和可靠行驶奠定了重要基础。

近期在月球表面环境感知方面的进展可以分为三个主要研究范式：利用遥感图像的宏观尺度月球环境感知和分析研究[2]、[3]、[4]；基于月球探测车搭载的探测器获取的现场感知数据对月球岩石、地形和其他典型特征进行分类和识别[5]、[6]；以及通过构建的模拟月球表面环境对环境感知算法进行验证和迭代优化[1]、[7]。然而，现有的方法通常依赖于单一数据模态，对障碍物类型的覆盖范围不足，无法应对月球表面极端复杂性的挑战或满足探测车自主性和安全性的实际需求。本文提出了一种多模态融合驱动的语义分割框架，将正面和负面障碍物统一纳入分割范式中。

目前，单模态语义分割算法[8]、[9]、[10]在月球表面低光照条件下的适应性显著受限，因为它们过度依赖单一数据源的质量。尽管多模态融合方法可以通过整合不同模态的互补优势来缓解上述问题，但现有的融合策略仍存在明显缺点：早期融合[11]直接连接原始或浅层特征，容易导致冗余和噪声；后期融合[12]在从每个模态独立提取深度特征后进行决策级融合，未能在特征学习阶段充分利用模态间的交互信息；中间融合[13]、[14]在特征融合之前缺乏有效的跨模态语义对齐机制，导致特征空间不对齐和语义干扰，从而限制了多模态互补信息的充分利用。为了解决这些问题，我们提出了一种新颖的两阶段语义分割框架。第一阶段采用对比驱动融合策略，利用预训练的单模态特征引导跨模态语义特征的学习，以确保精确对齐。第二阶段则采用跨模态交互融合模块，深入整合对齐后的特征，从而充分利用不同模态的互补信息。在公开的LunarSeg和NPO数据集上进行的广泛实验表明，所提出的方法在正面和负面障碍物的分割性能上优于基线方法。

总结来说，本文做出了三个关键贡献：

•

我们提出了一个两阶段训练框架，该框架结合了对比学习驱动的融合机制，利用预训练的单模态特征引导多模态特征学习，从而在跨模态融合之前确保精确的语义对齐。

•

我们设计了一种渐进式融合机制，首先精细化特征对齐，然后应用基于注意力的交互，从而增强从多模态数据中提取的互补信息。

•

在公开的LunarSeg和NPO数据集上进行的广泛实验表明，我们提出的方法取得了先进的性能。

章节摘录

月球表面环境感知

月球环境感知作为月球探索任务的核心支持技术，直接决定了月球探测车自主和安全运行的可靠性。张等人[2]提出了一种基于多模态语义分割的方法SR-Net，用于自动检测月球线性构造特征，具有高精度。Petrakis G等人[5]提出了一种轻量级的编码器-解码器神经网络架构，用于陨石坑分割

整体架构

为了高效探索和增强多模态数据中互补信息的利用，我们提出了一个两阶段训练框架LuOS，该框架通过对比驱动的特征对齐和基于注意力的交互融合显著优化了分割性能。LuOS的整体架构如图1所示。LuOS框架包括两个训练阶段。在单模态阶段，模型仅使用RGB图像作为输入。

数据集

我们在专门为月球障碍物分割任务设计的月球模拟系统上获取的LunarSeg数据集[39]上进行了实验。此外，我们还使用了NPO数据集[35]（一个用于正面和负面障碍物分割的真实世界道路场景数据集），以评估我们提出方法的泛化能力。

LunarSeg数据集。该数据集是使用Unreal Engine（UE）开发的专用月球模拟系统收集和生成的。

结论

在本文中，我们提出了LuOS，这是一个高效的两阶段月球障碍物分割框架，它通过对比驱动机制处理多模态特征对齐，并通过跨模态交互融合模块实现深度特征交互。在融合之前强制进行特征对齐对于有效利用模态间互补信息至关重要。在LunarSeg和NPO数据集上的实验结果表明，我们的方法取得了

CRediT作者贡献声明

肖峰蛟：撰写——原始草案、资源、方法论。张慧：撰写——审阅与编辑。曾志文：撰写——审阅与编辑。卢慧敏：撰写——审阅与编辑。周宗堂：撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。