基于深度强化学习的城市风场中多无人机系统的感知感知型协同路径规划 丁杰， 王林森， 金淑鑫， 王迪

《Sensors》：Perception-Aware Cooperative Path Planning for Multi-UAV Systems in Urban Wind Fields via Deep Reinforcement Learning Jie Ding, Linshen Wang, Shuxin Jin and Di Wang

　　

摘要

在复杂的城市环境中安全部署多架无人机（UAV）在很大程度上依赖于准确的环境感知和高效的合作路径规划。然而，在低空飞行区域内执行多无人机操作面临着严峻的挑战，这主要是由于复杂的建筑群和稳态风场扰动的双重限制。这些动态环境因素经常扭曲传感器的预期值，导致轨迹偏移并降低策略的鲁棒性。为了解决这些问题，本文提出了一种改进的双重深度Q网络（D3QN）算法，称为NPD3QN，专门用于感知驱动的多无人机合作路径规划。通过将感知到的环境数据（例如风速、障碍物距离和无人机之间的状态）建模为马尔可夫决策过程，集成了一种N步更新策略，以增强对长期收益的表征。同时，开发了一种改进的优先经验回放（PER）机制，用于主动过滤负面经验，并为关键的状态-动作样本分配动态权重，从而显著提高训练稳定性。构建了一个包含稳态模拟风场的3D城市运动学环境。广泛的消融实验和对比结果表明，NPD3QN能够有效将高维状态感知映射到稳健的控制指令。在风扰动场景中，它生成的协作轨迹更加优化，与标准D3QN相比，总路径长度减少了大约11.7%。尽管目前该研究仅在稳态模拟条件下进行评估，但它为风扰动环境下的自主多无人机合作路径规划建立了一种基于传感器驱动的稳健方法论基础。