编辑推荐：
针对复杂室内环境中的低光照、烟雾和粉尘干扰，传统RGB视觉SLAM系统存在显著性能瓶颈。本文提出GST-SLAM框架，创新性地融合热红外成像与3D Gaussian Splatting技术，通过多级预处理提升热红外图像质量，设计动态双关键帧选择机制增强定位鲁棒性，并构建深度传播引导的几何优化模型以改善密集重建效果。实验表明，该方法在PSNR、SSIM和LPIPS指标上均优于现有基准，有效解决了纹理稀疏、几何一致性差等难题，为建筑机器人提供了可靠的环境感知方案。
李森|马晓菲|刘和昭|周志辉|白天阳|杨家洛|徐继豪
郑州轻工业大学建筑环境工程学院，中国郑州450000
摘要
室内建筑环境通常存在诸如低光照（例如，黑暗的工厂）、烟雾（例如，火灾后的场景）和空气中的灰尘（例如，活跃的建筑工地）等具有挑战性的视觉条件，这些条件会显著降低传统视觉SLAM在机器人定位和映射中的性能。为了解决这些问题，我们提出了GST-SLAM，这是一种专为复杂室内场景设计的密集单目热红外SLAM框架。通过利用3D高斯散布（3DGS），我们的系统通过光度一致性和纹理细化来提高热图像质量。基于运动估计和熵的双关键帧选择策略提高了定位的鲁棒性，而由热特征和几何一致性引导的稀疏深度插值则实现了精确的密集重建。在公共和专有的室内数据集上的实验表明，GST-SLAM在PSNR、SSIM和LPIPS指标上的表现优于现有方法，并且在边界和表面细节恢复方面表现更佳。这些结果验证了其在实际建筑和检测任务中用于自主导航和环境建模的潜力。
引言
同时定位与映射（SLAM）[1]是实现自主感知、决策和建筑机器人高效操作的核心技术。它被广泛应用于各种场景，包括建筑施工、设施检测、环境监测和灾后应急响应[2]。随着建筑机器人应用的日益增多，SLAM不仅提供了实时的姿态估计和3D地图生成能力[3]，还直接影响下游任务的准确性和鲁棒性，如路径规划[4]、避障[5]和任务执行[5]。
然而，建筑环境往往对视觉感知提出严峻挑战，暴露了基于RGB或RGB-D图像的传统视觉SLAM方法的局限性[6]。例如，在夜间施工或节能“黑暗工厂”等低光照环境下，视觉传感器难以获取有效的图像数据，导致SLAM系统在定位任务中失败[7]。在火灾后的烟雾环境中，设备过热或其他紧急情况下，图像质量会显著下降，阻碍特征提取和跟踪，导致地图构建不完整或不准确[8]。在地下公用隧道等封闭的室内空间中，遮挡、灰尘和光照不均匀进一步复杂化了检测任务。这些复杂室内环境中的感知挑战清楚地表明，基于可见光的SLAM方法在建筑行业中的关键任务中缺乏足够的鲁棒性和适用性。
为了解决这些问题，热红外成像技术逐渐被纳入SLAM研究[8]。如图2所示，热红外相机对干扰具有很强的抵抗力，并能在黑暗和烟雾等极端条件下提供稳定的视觉信息[9]，在灾难救援、自动驾驶和军事侦察等领域展现出显著的应用潜力。与可见光相机不同，热红外相机捕捉物体表面的热辐射来生成图像，从而减轻了环境变化对图像质量的影响。
然而，热红外图像在实际应用中仍面临一些挑战。它们通常空间分辨率较低，缺乏丰富的纹理和结构信息[10]，这大大限制了基于图像特征的SLAM算法的有效性。由于此类图像中可识别特征点的数量有限且分布不均，传统的特征提取和匹配方法难以获得稳定和鲁棒的特征集。这一限制导致姿态估计误差增加，进而影响地图构建的准确性和系统的整体稳定性，从而阻碍了热红外SLAM在建筑场地环境建模和自主导航等任务中的更广泛应用[11]。
3D高斯散布（3DGS）技术的出现[12]为复杂环境中的密集映射提供了新的可能性。作为一种新兴的3D数据表示和渲染技术，3DGS使用高斯分布来近似和渲染3D点云，即使点云稀疏也能实现平滑过渡，并有效防止由于数据不足导致的噪声和间隙问题[13]。通过将3DGS与热红外SLAM结合，可以解决热红外图像的分辨率和纹理限制问题，从而实现更精确的密集映射[14]。然而，据我们所知，目前还没有研究探索过3DGS与热红外SLAM的融合。如何有效整合热红外数据并利用3DGS来实现高鲁棒性和精确的密集映射仍是一个未解决的挑战。这为复杂环境中的SLAM技术发展带来了新的机遇和挑战。
针对上述讨论，本文提出了一种针对室内建筑机器人遇到的复杂任务场景设计的热红外密集映射系统——GST-SLAM。据我们所知，这是第一个将3DGS技术与热红外成像结合用于密集映射的SLAM系统。本研究的主要目标是通过利用热红外成像的极端环境适应性和3DGS的映射能力，提高系统在复杂环境中的鲁棒性和精度。这为视觉质量下降的场景中应用SLAM技术提供了新的解决方案。具体来说，GST-SLAM将热红外SLAM与3D高斯散布技术相结合，形成了一个适用于复杂环境的高效密集映射框架。为了克服热红外图像分辨率低和光度一致性差的问题，该系统引入了光度校准策略和优化的预处理方法，显著提高了图像质量并增强了帧间的光度一致性。此外，为了提高映射效率和精度，GST-SLAM在密集映射过程中采用了双关键帧选择策略和几何优化技术，有效解决了稀疏纹理区域的关键帧管理和映射挑战。如图1所示，WTI-SLAM方法在几何精度和渲染质量方面表现出色。
本文的主要贡献总结如下：
(1)热红外图像预处理：提出了一种针对热红外图像的定制预处理方法，并结合了光度校准策略以提高图像质量。该方法确保了不同热红外帧之间的光度一致性，从而为后续SLAM处理提供了稳定的图像输入。
(2)直接视觉SLAM与3DGS的融合：该系统将直接视觉SLAM与3DGS框架相结合，并采用了双关键帧选择策略。通过考虑运动变化和信息增益，优化了关键帧选择和动态关键帧窗口，从而提高了SLAM跟踪和映射的效率和精度。
(3)深度传播和几何优化：采用深度传播策略和基于几何优化的密集化方法来增强3DGS映射结果，特别是在热红外图像的纹理较弱区域。这一过程有效计算了深度信息，提高了3D地图的质量。
(4)实验验证：在多个数据集上进行的广泛实验表明，GST-SLAM在复杂环境条件下实现了高精度的3D密集映射，验证了所提出方法在现实应用中的有效性和鲁棒性。
相关研究
近年来，热红外视觉SLAM技术在国内和国际上取得了快速进展，从单模态方法发展到多模态融合[15]，[16]，最近又应用了深度学习技术[17]。研究重点逐渐转向提高系统的鲁棒性和准确性，以应对低光照和极端环境的挑战。此外，整合了3D高斯散布（3DGS）的SLAM研究也取得了进展
方法
为了在极端环境中实现高度鲁棒和准确的定位及密集映射，提出的GST-SLAM框架引入了针对热红外成像特性的系统级适应。GST-SLAM在三个紧密耦合的层面进行了联合设计——前端跟踪、密集几何生成和基于3D高斯的映射——形成了一个专门针对热红外场景的完整密集视觉SLAM解决方案。具体来说，前端增强了
实验
为了验证所提出的GST-SLAM系统的有效性，我们进行了广泛的实验，评估其在热红外条件下的映射性能，涵盖了多个真实和合成数据集。首先介绍了实验设置和评估指标的详细信息，然后对相机跟踪精度、几何重建和外观重建质量与现有最佳基线方法进行了定量和定性比较。
结论
本研究提出了一种基于3D高斯散布（3DGS）的创新热红外SLAM系统——GST-SLAM，旨在满足复杂室内建筑环境中对鲁棒定位和映射的迫切需求。这类环境（例如隧道、没有人工光源的简易房屋、地下停车场、夜间道路施工等）通常具有低光照、空气中的颗粒物、结构遮挡和视觉纹理较弱的特点
CRediT作者贡献声明
李森：撰写 – 审稿与编辑，撰写 – 原稿，项目管理，方法论，资金获取，概念化。马晓菲：撰写 – 审稿与编辑，撰写 – 原稿，方法论，概念化。刘和昭：撰写 – 审稿与编辑，可视化，验证，资源管理，概念化。周志辉：撰写 – 审稿与编辑，撰写 – 原稿，项目管理，形式分析，数据管理。白天阳：可视化，监督
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
作者衷心感谢河南省高等学校青年骨干教师培训计划（资助编号：2021GGJS094）和河南省科技发展计划（资助编号：252102221055）的财政支持。
