MUFO：多无人机飞行优化技术，用于提升远程驾驶服务中的连接性能

《Ad Hoc Networks》：MUFO: Multi-UAV flight optimization for enhancing connectivity in remote driving services

多无人机协同优化框架MUFO针对城市远程驾驶中信号受建筑物干扰问题，提出基于MADDPG的强化学习方法，同时优化路径规划和能量部署，在保证通信连续性的前提下减少无人机数量和能耗，仿真显示效率提升8%。

　　

阮文琳|阮兰香|黄仁宏

台湾嘉义市国立中兴大学计算机科学与信息工程系

摘要

除了自动驾驶之外，远程驾驶是利用通信技术消除驾驶员疲劳等高风险驾驶情况的典型例子。然而，远程驾驶仍然具有挑战性，尤其是在建筑物会吸收和反射信号的城市区域。本文提出了一种基于深度强化学习的多无人机（MUFO）飞行优化框架，其目标有两个：（i）路径规划，以确定维持远程驾驶车辆稳定连接的最佳无人机轨迹；（ii）高效部署，在保证最低数据速率的同时，最小化无人机数量及其能耗。首先，将覆盖范围和飞行成本问题定义为具有无人机能耗和碰撞避免约束的多目标优化问题。基于内置的弱信号区域地图，提出了一种新技术：多智能体深度确定性策略梯度（MADDPG）方案。该方案旨在确定无人机在弱信号区域上飞行的最佳策略，增强信号强度，并在远程车辆到达时中继连接性。仿真结果表明，MUFO中的MADDPG在部署效率（节能、部署的无人机数量）方面优于现有的深度学习方法，尤其是在地面交通拥堵区域密集且无人机需要在这些区域额外停留较长时间的情况下。MUFO的优势在于它通过多次试验或完成任务进行累积学习，显著提高了无人机的部署效率。

引言

在自动驾驶成熟之前，远程驾驶似乎是未来几年中最有可能实现商业化的商业模式之一。这里的自动驾驶指的是车辆利用本地传感器、感知和控制算法进行自主决策和执行。相比之下，远程驾驶（或远程操作）依赖于远程操作员与车辆之间的实时双向通信，其中人类控制输入和环境视频流必须通过无线网络传输。当车辆需要在繁忙的交通区域（如危险区域和山区道路）导航时，这种服务非常有用，而这通常是自动驾驶难以实现的。然而，要从远程车辆的摄像头下载视频，稳定的网络连接是必不可少的。由于连接不良导致的数据中断可能会使跟踪当地交通情况的变化变得困难。如图1所示，当信号遇到建筑物和高大树木等障碍物时，信号强度会减弱。因此，现有的远程驾驶技术通常用于交通量极少或没有交通的区域，例如在矿山运输铁矿石时[1]。根据[2]的研究，无人机（UAV）辅助的蜂窝网络将成为提高覆盖范围和促进城市及偏远地区远程驾驶发展的关键部分。

无人机轨迹优化和传输功率利用问题已经得到了广泛研究[3]、[4]。通常有两种方法：基于传统优化的方法和基于机器学习的方法。传统数学方法中经常使用凸优化技术[5]。此外，在复杂的应用中，问题可以分解为两个凸优化子问题（轨迹优化、功率分配）来解决[6]。对于基于机器学习的技术，深度强化学习模型[7]和神经网络[8]是常见的方法来确定无人机轨迹。然而，由于同时部署大量无人机和覆盖范围的成本限制，制定有效的无人机部署计划仍然具有挑战性。

现有的关于无人机辅助通信的研究主要集中在物联网数据收集、灾难救援或通用移动边缘网络方面。很少有研究明确针对远程驾驶服务定制的框架，这些服务需要同时优化连接连续性、延迟约束和动态车辆轨迹。远程驾驶的通信面临两个独特问题。首先，为了更新由于驾驶安全而变化的周围环境，需要保持连接质量的连续性。车辆可能需要穿越地面站可用性不同的各种地形；因此，需要适当的路径规划来最小化冗余部署（例如，服务覆盖重叠）并减少需要调动的无人机数量，即降低部署成本。另一个问题是无人机路径规划必须遵守无人机的能量限制。由于远程驾驶路径上的弱信号区域大小不同，无人机必须在无车辆区域最小化功率传输。

总体而言，在提高连接稳定性和降低部署成本之间存在权衡。如果许多任务需要在广阔区域内为大量远程车辆提供连接，就需要进行优化，以提升服务利用率并最大化服务提供商的利润。服务连续性的连接质量与多个远程车辆在不同地形区域的部署效率之间的权衡仍然是一个持续存在的问题。本工作的创新之处有以下几点：

• 1.
  鉴于许多关于无人机路径规划的研究，本研究探索了一种针对新应用（即远程驾驶）的定制多智能体学习方法。我们将远程驾驶的无人机辅助连接问题表述为一个多目标优化问题，明确考虑了服务连续性和部署成本在交通不确定性下的情况。通过提供全面的实验，本研究可以为未来几年可能在城市地区部署的无人机辅助远程驾驶应用提供技术见解。
• 2.
  我们设计了基于MADDPG的多智能体DRL框架MUFO，该框架能够自适应地调整无人机轨迹和传输功率，以在地面交通具有不确定性的情况下增强覆盖范围并降低能耗。在这种情况下，基于事件的通信是独特的，因为远程驾驶需求可能出现在任何位置。此外，必须支持从已部署的任务中积累的增量训练，以减轻无人机之间的通信开销。
• 3.
  我们将MUFO与最先进的基线方法（如DGRL、ACS、启发式搜索）进行了比较，证明了其在部署效率上提高了高达8%，平均数据速率提高了19%。第2节和表1总结了与最先进研究相比的MUFO的优势。我们通过额外的安全指标（延迟、中断概率、服务连续性）和场景通用性测试（城市与农村）进一步扩展了分析，展示了MUFO的鲁棒性和适用性。

远程驾驶的独特之处在于它需要管理实时交通拥堵和任务不确定性，这些条件比无人机–物联网或救援应用中的情况更难以预测。提出的MUFO框架通过联合优化无人机轨迹规划和能量感知部署来应对这些挑战，实现了自适应的多无人机协调，以确保远程驾驶车辆所需的最低连接质量。

本文的其余部分安排如下。第2节总结了相关研究的最新进展。第3节详细介绍了通信模型和问题表述。第4节展示了解决方案。第5节展示了提案的评估结果。最后，第6节总结了这项工作。

相关工作

相关研究

在几项最近的研究中[3]、[4]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]中，已经讨论了改善空地网络覆盖范围的主题。表1总结了各种常见研究的解决方案、特点和局限性以及本研究的位置。例如，Zeng等人[9]、[10]提出了一个理论模型，用于优化无人机轨迹（飞行速度、方向和加速度），以在电池供电的无人机移动时实现能源效率最大化

系统模型和问题表述

本节介绍了无人机辅助无线网络模型和无人机能耗的详细信息，随后是问题表述。表2总结了本文中的关键符号和术语。

MUFO：为远程驾驶车辆提出的多无人机路径规划和部署优化方案

MUFO同时解决了两个相互关联的目标：最佳无人机路径规划和高效的多无人机部署，以确保在动态远程驾驶条件下的覆盖范围并最小化能源成本。除了文献[25]中提到的搜索方法外，使用深度强化学习（DRL）进行路径规划的成本优化是一种有前景的方法。DRL在处理多目标函数（如$q^t$$P^t$和