《Ad Hoc Networks》：DDPG-based Data Collection for AoI in Multi-UAV-Assisted IoT Networks
编辑推荐：
多无人机协同优化物联网数据采集中的信息新鲜度，提出注意力增强的深度确定性策略梯度算法，构建融合数据新鲜度、通信质量和能耗约束的联合优化模型，通过马尔可夫决策过程建模轨迹规划、悬停点选择和任务分配问题，仿真验证算法在平均信息年龄、能耗和任务完成率上的优越性。
Jianbin Xue|Xiao Li|Zhenqin Wang|Chang Li
Jianbin Xue目前担任兰州工业大学研究生院的副院长，同时也是该校物联网工程项目的负责人，负责信息与通信工程系的日常工作，并兼任物联网人才培养与创新联盟的副主席。
摘要
由于无人驾驶飞行器（UAV）具有出色的移动性和操作灵活性，它们在物联网（IoT）系统中被越来越多地用于高效的信息采集。在UAV辅助的IoT系统中保持信息的新鲜度对于实时监控应用至关重要，尤其是在处理传感器数据的随机生成模式时。由于任务动态变化和机载电源限制，协调多个能量受限的UAV以确保收集信息的时间有效性面临着重大技术挑战。为了解决这一问题，我们研究了多UAV协作数据采集环境中的信息新鲜度优化问题，提出了一种基于注意力的深度确定性策略梯度（A-DDPG）算法，构建了一个考虑数据新鲜度、通信质量和能源效率的多UAV辅助IoT数据采集系统模型，并将UAV轨迹规划、悬停点选择和任务分配问题建模为马尔可夫决策过程。由于标准DDPG算法在处理高维状态空间和多重约束时存在局限性，我们在A-DDPG算法中引入了注意力层以增强对关键状态特征的感知，设计了优先级经验回放机制以提高强化学习过程中的数据采样效率，根据不同状态组件的特点实施了归一化策略，并开发了动作约束处理方法以确保UAV行为符合物理约束。通过全面的仿真测试，与现有技术相比，所提出的算法在信息平均年龄、能源效率和任务完成率方面表现出较高的有效性。
引言
过去十年，物联网（IoT）领域经历了指数级增长，使得持续监测周围环境变得更加容易和便捷。它已广泛应用于智能城市系统、环境监测、农业生产以及工业自动化等多个领域[1,2]。然而，物联网设备的爆炸性增长也给数据新鲜度管理带来了前所未有的挑战，尤其是在传统固定通信基础设施不足或不可用的情况下。传统的IoT系统通常依赖固定的通信基础设施来收集和传输数据，但在受自然灾害影响地区、偏远地区或通信基础设施受损的情况下，这种固定架构在高效部署和维护方面常常受到限制。同时，物联网设备的激增对基站（BS）提出了严峻挑战，包括超密集的连接需求和有限的通信容量，这从根本上限制了基站同时服务大量传感器节点（SN）的能力[3]。当前IoT系统存在一个关键问题：当基础设施受损或不可用时，无法保证及时数据采集。在灾难响应、环境监测和工业自动化等时间敏感的应用中，数据新鲜度直接影响决策效率和系统可靠性。
无人驾驶飞行器（UAV）作为一种可重构的空中平台，具有高机动性，为解决上述挑战提供了新的方案[4]。尽管UAV辅助的IoT系统显示出潜力，但现有解决方案存在三个根本性局限：大多数现有方法依赖于单架UAV的部署。当任务的数量和规模增加时，单架UAV无法满足所有计算需求，导致服务质量下降和信息老化加速。现有的多UAV解决方案无法完全解决轨迹规划、能源约束、通信质量和碰撞避免之间的复杂交互问题。通常，这些因素是独立优化的，而不是联合优化的。在UAV辅助的IoT系统中，传感器节点（SN）执行局部环境数据采集和存储。当UAV在上方飞行时，SN将数据上传到UAV，UAV再将其传输到远程基站（BS）进行处理和分析。虽然这种方法大大降低了SN的传输功耗并延长了网络寿命，但也引入了数据新鲜度的关键问题。数据感知与基站最终处理之间的显著延迟（称为感知到处理延迟）会大幅降低数据的及时性和实用性[5]。
信息年龄（AoI）作为量化数据新鲜度的重要指标，在UAV辅助的IoT系统数据采集系统中具有重要意义[6]。与传统的通信延迟不同，AoI从接收者的角度衡量最新接收到的数据的新鲜度，这更适用于评估实时监控系统的性能。在UAV辅助的IoT系统中，虽然可以通过合理规划UAV轨迹和数据采集策略来优化AoI，从而使基站拥有的环境状态信息尽可能新鲜[7,8]，但随着任务数量和规模的增加，单架UAV难以满足所有计算需求，进而导致服务质量下降。
与单UAV系统相比，多UAV系统具有更高的数据采集效率和更强的系统韧性[9]。然而，多UAV协作也带来了一系列新的挑战，包括UAV轨迹规划、悬停点选择、任务分配、碰撞避免安全性和安全性以及其他动作约束。在环境动态变化和信道条件不确定的实际情况中，传统的确定性优化方法难以有效处理这些相互耦合的决策问题。在这种不确定性下，强化学习（RL）作为一种目标导向的学习框架应运而生，通过环境交互逐步优化决策策略。深度确定性策略梯度（DDPG）算法结合了深度学习和RL的优势，在处理高维连续动作领域时表现出色，适用于UAV轨迹规划和资源分配等应用场景[10]。然而，标准DDPG算法在处理高维和复杂问题（如多UAV协作数据采集）时仍存在困难，例如无法处理具有异构特征的高维状态空间、样本利用效率低导致收敛缓慢、由于特征尺度不同而导致的训练不稳定，以及无法纳入复杂的物理约束。然而，在多UAV辅助的IoT网络中，关于AoI、能源消耗和操作安全性的联合优化仍存在显著的研究空白。现有方法通常分别优化这些目标，或者难以应对多UAV环境的高维、动态和受限特性，导致信息新鲜度维护性能不佳。
本文的研究聚焦于多UAV辅助的IoT系统，利用UAV收集IoT生成的数据，通过联合优化数据采集时间、UAV轨迹和悬停点来优化SN数据的平均AoI，从而实现提高系统能源效率、通信可靠性和安全约束等多个目标。具体而言，本文的主要贡献体现在以下几个方面：
问题提出创新：为了最小化总AoI，我们建立了一个综合考虑数据新鲜度的UAV辅助IoT网络框架，该框架整合了UAV的能源约束、通信质量约束和防碰撞安全约束，解决了现有文献中这些目标通常独立优化的关键问题。
MDP建模贡献：在马尔可夫决策过程（MDP）框架内构建UAV协作信息采集任务，构建了一个包含UAV状态、传感器集群状态和通信状态的完整状态空间，以及用于悬停点选择和任务分配的混合离散-连续动作空间，从而可以同时优化悬停点选择和任务分配。
算法创新：提出了一种基于注意力的深度确定性策略梯度（A-DDPG）算法，以解决标准DDPG在多无人机场景中的局限性，通过引入注意力层增强了对关键状态特征的感知，通过优先级经验回放提高了样本利用效率，并通过状态归一化和动作约束处理提高了训练稳定性和策略质量；
全面评估：在多种操作场景（如城市监控、灾难响应、农业监控、工业物联网和远程环境监控）进行了仿真实验，以验证算法的鲁棒性和适应性。尽管在所有场景中都获得了全面的结果，但我们以城市监控场景为例，证明了所提算法在平均信息年龄、能源效率和任务完成率方面优于标准DDPG和其他基线算法。
本文的结构安排如下：第二节回顾相关研究；第三节介绍系统模型和问题陈述；第四节详细说明基于DDPG的解决方案；第五节展示仿真结果；第六节提供结论。关键数学符号在表1中系统性地进行了总结。
相关工作
相关工作
近年来，UAV辅助的物联网在数据采集、多UAV协作调度、AoI优化以及基于RL的UAV控制等领域取得了显著进展。在本节中，我们回顾了上述领域的研究进展，分析了现有方法论方法的优点和局限性，为本文的研究奠定了基础。
1. UAV辅助的IoT系统： UAV辅助的IoT系统受到了广泛关注，
场景和工作机制
在本文中，我们考虑了一个由K架旋翼UAV、M个传感器节点（SN）集群（表示为集合U = {U1, U2, ..., UK}和S = {S1, S2, ..., SM}）以及一个基站（BS）组成的UAV辅助IoT网络，如图1所示。假设由于信道容量有限或信道质量差，基站无法直接服务传感器节点，目标区域被划分为M个集群，地面IoT在指定的覆盖区域内执行监控操作，每个传感器节点在固定时间采样环境数据。
基于DDPG的解决方案
在本节中，我们将UAV辅助数据采集中的AoI最小化问题重新表述为一个具有无限时间域折扣标准的离散时间马尔可夫决策过程（MDP），并讨论了其通用解决方案。
仿真结果分析
本节通过在不同操作场景（如城市监控、灾难响应、农业监控、工业物联网和远程环境监控）中进行的全面仿真实验，验证了所提出的A-DDPG算法的性能。该算法在五种不同环境中的表现进行了评估：城市监控、灾难响应、农业监控、工业物联网和远程环境监控。每种场景在区域覆盖范围、传感器密度和无人机能力等方面都带来了独特的挑战。
结论
在本文中，我们研究了多UAV系统中的信息新鲜度优化问题，提出了一种基于注意力机制的A-DDPG算法，用于优化UAV轨迹规划、悬停点选择和任务分配策略，并构建了一个综合考虑UAV移动性、能源约束、信道质量、防碰撞安全性和数据新鲜度的多UAV辅助IoT数据采集系统模型。
未引用的参考文献
[30]
CRediT作者贡献声明
Jianbin Xue： 软件开发、数据整理。
Xiao Li： 文章撰写 – 审稿与编辑、初稿撰写。
Zhenqin Wang： 调查研究、资金获取。
Chang Li： 形式分析、概念构思。
