编辑推荐：
混合重建方法结合LiDAR与3DGS提升仿真环境真实性，端到端神经网络通过安全辅助分支优化控制策略，实验验证其在真实机器人3.5公里轨迹中实现接近真实数据训练的性能。
亚历杭德罗·奥利瓦斯（Alejandro Olivas）| 米格尔·安赫尔·穆尼奥斯-巴尼翁（Miguel ángel Mu?oz-Ba?ón）| 费尔南多·托雷斯（Fernando Torres）
自动化、机器人技术与计算机视觉研究小组（AUROVA），阿利坎特大学，San Vicente del Raspeig S/N，阿利坎特，03690，西班牙
摘要
在仿真环境中学习复杂的导航行为，并成功将其转移到现实世界中仍然是一个重大挑战，这主要是由于仿真与现实之间的差距。为了解决这个问题，我们提出了一种混合重建方法，该方法结合了激光雷达（LiDAR）数据和单目图像来创建视觉和结构上都非常真实的仿真环境。具体来说，我们从激光雷达测量数据中提取出精确的网格，并将其与几何一致的三维高斯散布（3DGS）技术集成在一起，以渲染出逼真的图像。此外，我们还提出了一个端到端的神经网络，用于生成移动机器人的控制指令，并利用该网络来评估混合重建在缩小仿真与现实差距方面的有效性。在所提出的模型中，我们引入了一个新的辅助分支，并定义了损失函数，以提高网络学习安全且稳健行为的能力。这种方法基于模仿学习，通过在真实机器人上部署该模型进行测试（总导航距离为3.5公里），实验结果表明，仅在仿真环境中训练的模型能够达到与在真实世界数据中训练的模型相当的性能。
引言
自主导航是一项具有挑战性的任务，它涉及感知、解释和理解周围环境，以到达指定目标，同时避开障碍物并优化路径。近年来，基于深度学习的技术在仿真环境中的应用显著提升了无人地面车辆（UGVs）的导航能力（Chib和Singh，2023年）。对于这些模型的训练，主要有两种范式：模仿学习（IL）和强化学习（RL）。模仿学习方法（Chitta等人，2023年；Wu等人，2022年）采用监督方式进行训练，训练速度比强化学习方法快得多；而强化学习方法（Zhang等人，2021年；Li等人，2024年）能够探索更多的情况。然而，在自主导航中的强化学习只能在仿真环境中进行训练，因为在现实世界中，机器人和环境都可能遇到危险情况。然而，在仿真环境中训练的模型在部署到现实场景时往往会出现性能下降的问题，这种现象被称为仿真与现实之间的差距（sim2real gap），这是由于仿真的合成外观与现实世界存在很大差异（Zhao等人，2020年；Chukwurah等人，2024年）。
诸如神经辐射场（NeRF）和三维高斯散布（3DGS）等新兴技术在弥合这一差距方面显示出了良好的前景，它们能够合成与真实世界环境非常相似的逼真场景。这些方法提高了视觉真实感和环境保真度，从而促进了从仿真到现实的行为迁移。最近的研究通过使用NeRF（Aoki等人，2024年；Shen等人，2024年；Byravan等人，2023年）或3DGS（Qureshi等人，2025年；Xie等人，2025年）将在仿真环境中训练的模型迁移到现实世界。然而，使用NeRF或3DGS生成足够精确的网格以进行物理仿真仍然具有挑战性，而且它们的光度特性引入了尺度不确定性，这可能对仿真到现实的迁移产生负面影响。
为了解决仿真到现实问题中的这些限制，本文提出了一种混合的、真实的现实环境重建方法，图1展示了整个流程的概览。具体来说，我们将使用3DGS渲染的图像与从3D激光雷达传感器数据中提取的精确网格相结合。这种组合方法提供了视觉和结构上的真实感，增强了在仿真环境中训练的自主导航系统的鲁棒性和可迁移性。通过结构从运动（SfM）估计的相机姿态与激光雷达数据获得的轨迹对齐，有效解决了光度方法中固有的尺度不确定性问题。这种对齐使得能够重建几何一致的场景，确保视觉和空间信息得到严格整合。
本研究致力于缩小仿真与现实之间的差距。为了评估这一点，还需要测量使用真实世界数据训练的模型（real-to-real，即real2real）的迁移性能，以便与仿真到现实的模型进行比较。为此，我们通过模仿学习训练了一个端到端的网络，从而可以通过改变数据集来比较real2real和仿真到现实的模型，因为使用强化学习无法进行real2real迁移。因此，我们提出了一个端到端的神经网络，该网络可以直接从激光雷达扫描、相机图像和目标坐标输出所需的控制指令。
重建的环境用于训练我们自行设计的移动机器人（del Pino等人，2020年；Casta?o-Amorós等人，2022年）的导航策略，该机器人采用阿克曼几何结构。该机器人设计用于在非结构化的户外环境中运行；因此，本研究专注于开放户外区域的自主导航的仿真到现实迁移。我们的方法在不同轨迹上进行了评估，并学习了有效的导航行为，而无需大规模的数据集。所提出的端到端神经网络能够沿着预定路径行进，避开静态障碍物并执行必要的操作以到达目的地。
为了提高导航策略的泛化能力，该网络不仅被训练来模仿专家行为，还被训练来识别和选择安全的路径。这一双重目标使机器人能够适应未见过的环境，并在复杂的现实场景中做出更稳健的决策。
总结来说，本文的贡献包括：
- •
一种结合3D激光雷达重建和逼真图像合成的环境混合重建方法。这种方法生成的仿真环境在几何结构和视觉真实感方面都具有高精度。这样的重建使得基于深度学习的导航方法能够实现仿真到现实的迁移，因为几何形状和外观的保真度都与真实世界条件非常接近。
- •
一个用于自主导航的端到端神经网络，其中包含一个新颖的辅助分支。该分支学习控制动作的安全性，并定义了损失函数来惩罚不安全的动作。
- •
使用我们的真实移动机器人在超过3.5公里的户外轨迹上比较了仿真到现实和真实到现实的迁移性能。结果表明，我们的混合重建显著缩小了仿真与现实之间的差距，达到了与使用真实世界数据训练的模型相当的性能水平。
本文的其余部分组织如下：第2节回顾了3D重建、端到端自主导航和仿真到现实迁移的文献。然后，在第3节中，我们解释了我们的几何一致重建方法和网络架构。第4节评估了重建结果和学到的导航策略，并比较了使用仿真数据和真实数据进行训练的效果。最后，在第5节中讨论了主要结论。
相关研究
相关工作
本节全面概述了当前在环境逼真重建方面的最新技术，重点介绍了NeRF和3DGS方法。接着，我们回顾了使用模拟器学习自主导航策略的方法，包括端到端网络和强化学习。
方法论
我们的目标是从记录的RGB图像和激光雷达数据中重建环境，并利用这种重建在模拟器中训练一个端到端的自主导航网络。模拟器通过将激光雷达测量得到的网格与从RGB图像训练出的3DGS模型相结合，生成逼真的图像和精确的点云数据。第3.1节描述了从
实验
在本节中，我们在现实世界中评估了我们方法的性能。首先，第4.1节解释了实验设置。然后，第4.2节展示了重建结果和端到端导航方法的实验结果。这些实验支持了我们的主要观点，即：（i）混合真实重建方法能够实现比使用真实数据训练的模型更小的仿真与现实之间的差距；（ii）学习关于
结论
本研究提出了一种新的方法，用于生成高度真实的仿真环境，有效缩小了仿真与现实之间的差距，使得在仿真中获得的知识能够迁移到现实世界中。我们提出了一种混合重建方法，该方法结合了3DGS渲染的逼真图像和从激光雷达数据中提取的精确几何网格。通过利用网格构建过程中获得的轨迹，我们将相机姿态对齐，从而生成几何一致的3DGS
CRediT作者贡献声明
亚历杭德罗·奥利瓦斯（Alejandro Olivas）：撰写——原始草稿、可视化、验证、软件开发、方法论研究、概念化。米格尔·安赫尔·穆尼奥斯-巴尼翁（Miguel ángel Mu?oz-Ba?ón）：撰写——审稿与编辑、监督、研究、概念化。费尔南多·托雷斯（Fernando Torres）：撰写——审稿、监督、资源获取、资金申请。
利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。
致谢
本项工作得到了西班牙政府科学与创新部通过研究项目PID2021-122685OB-I00以及研究员培训计划（FPI）（项目编号PRE2022-101680）的支持。此外，该工作还得到了瓦伦西亚自治区政府和欧盟通过CIAPOS/2023/101奖学金的支持。
