复杂非结构化环境下具身智能体多模态感知与实时路径规划算法研究

《Frontiers in Neurorobotics》：Research on embodied agent multimodal perception and real-time path planning algorithms for complex unstructured environments

　　

在复杂非结构化环境中，具身智能体的自主导航依赖于紧密耦合的多模态感知与实时路径规划能力，这构成了物理世界机器人部署的核心技术瓶颈。异构传感器（视觉、激光雷达和深度）数据在多变的光照和地形条件下难以对齐和融合，而动态障碍物的配置对现有规划算法提出了严重的延迟约束。本文提出了一种集成的端到端框架，结合跨模态注意力融合（CMAF）模块、卡尔曼-图神经网络（K-GNN）动态障碍物预测器以及两层近端策略优化（PPO）路径规划架构。CMAF模块通过多头注意力机制融合三模态特征，在自建的非结构化环境数据集上实现了78.6%的平均交并比（mIoU），融合延迟为5.3毫秒。K-GNN将卡尔曼滤波的物理运动先验与图神经网络的交互建模相结合，在线预测多个移动障碍物的短期轨迹。双层规划器将融合感知特征与全局语义拓扑路径相结合，实时输出局部速度指令，将平均规划时间减少至18.4毫秒。在Gazebo仿真平台和自制四轮机器人上的60个非结构化测试案例中，实验显示导航成功率为94.5%，比最强基线高出7.8个百分点，并满足了实时操作要求。

具身智能体旨在通过赋予感知、认知和执行能力，使智能体能够在物理世界中自主完成复杂任务。然而，传统机器人在开放且非结构化的环境中难以实时理解周围世界并做出快速准确的决策，这一过程高度依赖多模态感知和实时路径规划两大核心技术。复杂非结构化环境（如建筑废墟、荒野地形和灾区）具有障碍物形状多样、地面不规则和照明条件复杂等特点，对传统的单传感器感知方法和基于确定性模型的路径规划算法提出了严峻挑战。单目视觉虽然富含语义信息，但在深度估计和遮挡处理上存在固有局限；激光雷达能提供精确的三维空间结构，但缺乏语义理解能力；惯性测量单元（IMU）单独使用时误差积累严重。如何高效整合上述异构多模态数据并构建统一的环境表示，是具身感知的核心挑战。在路径规划层面，传统方法如A*和RRT*依赖精确的环境地图和静态假设，难以适应动态障碍物频繁变化的非结构化场景。人工势场（APF）和动态窗口法（DWA）虽然具有一定的实时性，但易陷入局部极小值，且对复杂几何约束的适应性较差。近年来，深度强化学习（DRL）在路径规划领域展现出巨大潜力，但现有方法普遍存在样本效率低、泛化能力不足以及无法充分利用多模态感知信息等问题。根本差距在于感知前端与规划后端之间的脱节。先前报道的多模态融合架构主要针对离线三维检测基准进行优化，未考虑具身规划系统的闭环延迟预算。文献中的强化学习规划器主要依赖单模态或简单拼接的状态输入，未能充分表示动态非结构化场景的几何和语义特征。此前尚无框架能够在统一的实时系统中联合优化跨模态特征对齐、短期障碍物轨迹预测和策略学习，尤其是在嵌入式硬件上运行。面临的挑战包括：在满足小于10毫秒推理预算的同时达到与重量级离线融合方法相当的感知精度；在不依赖预定义运动模型或结构化环境假设的情况下预测多体障碍物运动；以及训练一个无需数百万次真实世界交互步骤即可在非结构化场景的地形多样性中泛化的强化学习策略。

为解决上述挑战，研究人员提出了一种用于具身智能体在复杂非结构化环境中执行多模态感知和实时路径规划的集成算法。该研究的主要贡献包括：提出了一种CMAF模块，利用Transformer架构中的多头注意力机制，实现视觉、激光雷达和深度图像三模态特征的自适应融合，解决了异构传感器的数据对齐和融合问题；提出了一种结合卡尔曼滤波和图神经网络的动态障碍物轨迹预测模型，在线预测非结构化环境中多个移动障碍物的短期轨迹，显著提高了路径规划的预见性；设计了一种基于PPO的双层路径规划框架，将多模态感知输出作为状态表示，在全球拓扑路径指导下实现局部实时避障和速度控制，并将平均规划时间降低至18.4毫秒，同时确保安全。

作者为开展研究使用的主要关键技术方案如下：系统采用管道并行架构，在嵌入式硬件NVIDIA Jetson AGX Orin上部署。感知部分利用CMAF模块融合RGB相机、16线激光雷达、深度相机、IMU和触觉传感器数据。预测部分构建K-GNN模型，结合卡尔曼滤波物理先验和图神经网络拓扑建模。规划部分采用双层架构，全局层使用A*算法基于语义拓扑图生成参考路径，局部层采用PPO深度强化学习策略输出速度指令。实验基于Gazebo仿真平台和自制四轮自主移动机器人，测试场景包括建筑废墟、荒野地形和工业区，共60个测试案例。自建的多模态数据集包含2,000帧标注图像，涵盖不同光照条件和障碍物密度。

研究结果方面：
4.1 CMAF模块：通过多头跨模态注意力机制，实现三模态特征的自适应融合。在自建测试集上，该模块实现了78.6%的mIoU和0.891的F1分数，推理时间仅为5.3毫秒，优于TransFusion等现有方法，证明了轻量级多头注意力设计在实时性上的优势。
5.1 动态障碍物轨迹预测：K-GNN模型结合了卡尔曼滤波的物理先验和图神经网络的社会交互建模。消融实验显示，移除K-GNN后任务碰撞次数从0.6增加到1.02，增加了41.3%，证实了轨迹预测模块对路径安全的关键支持作用。保留卡尔曼滤波或单独使用GNN的效果均不如完整的K-GNN，表明结构化物理预测与交互感知拓扑建模的互补性带来了性能提升。
5.2 基于PPO的双层路径规划：该框架实现了94.5%的导航成功率，平均规划时间为18.4毫秒。在60个非结构化测试案例中，该方法在所有评估指标上均表现最优，碰撞次数仅为0.6次/任务，路径长度比为1.06，接近最优值1.0。相较于SAC，成功率提高了7.8个百分点，且统计检验显著。在密集障碍物和狭窄通道场景中，该方法生成的路径更平滑、更优，尤其在狭窄通道中轨迹偏差最小。

讨论部分指出，当前框架存在若干限制。自建数据集涵盖三个场景类别，但在未见过的场景类型上测试时，跨场景mIoU下降了4.5个百分点，表明直接部署到截然不同的非结构化环境需要额外的域适应微调。双层规划架构假设在全局重规划间隔期间，全局语义拓扑图保持足够一致；在大型结构障碍物快速移动的环境中，全局地图过时可能在下一个重规划周期完成前危及导航安全。目前18.4毫秒的平均规划时间需要NVIDIA Jetson AGX Orin计算模块，限制了其在重量敏感或电源受限的机器人平台上的部署。

结论部分总结如下：本文针对复杂非结构化环境中具身智能体的多模态感知和实时路径规划挑战，提出了一种集成CMAF、动态障碍物预测和深度强化学习规划的端到端算法框架。CMAF模块通过多头跨模态注意力机制高效融合视觉、激光雷达和深度相机三模态特征，在自建测试集上实现了78.6%的mIoU和5.3毫秒的推理时间，实现了感知精度和实时性的良好平衡。K-GNN动态障碍物轨迹预测模型结合物理先验和图神经网络拓扑建模优势，有效预测多障碍物的短期运动意图，显著提高了路径规划的安全性和预见性。基于PPO的双层路径规划架构在60个非结构化环境测试案例中实现了94.5%的导航成功率和18.4毫秒的平均规划时间，所有指标均优于六种基线方法，验证了所提方法的有效性和工程适用性。该研究为具身智能体在复杂环境中的自主导航提供了可行的解决方案。