基于DRL的混合FSO/THz无人机系统功率优化研究——IR-HARQ助力6G超可靠低延迟通信

《IEICE Communications Express》：DRL-based power optimization for hybrid FSO/THz-enabled UAV systems using IR-HARQ

本刊推荐：为解决无人机辅助混合FSO/THz系统中传输功率最小化难题，研究人员开展基于近端策略优化（PPO）的深度强化学习（DRL）框架研究，动态调整IR-HARQ重传功率分配。结果表明，该方案在严格延迟约束下可实现可靠数据传输，较传统HARQ协议节电0.7 dBm，为6G空中回传及抗灾网络提供能源高效解决方案。

　　

随着第六代移动通信（6G）技术的快速发展，无人机（UAV）辅助通信凭借其灵活部署、成本效益高等优势，成为实现超可靠低延迟通信（URLLC）、太比特每秒级传输速率及集成传感通信（ISAC）的关键支撑技术。与此同时，自由空间光通信（FSO）和太赫兹（THz）技术因其丰富的频谱资源和超过100 Gbps的数据传输能力，被视为缓解6G频谱拥堵的有效手段。将FSO与THz技术结合形成混合链路，可显著增强系统对大气湍流、分子吸收等信道损伤的抵抗能力，提升整体吞吐量和覆盖范围。因此，无人机使能的混合FSO/THz架构有望支撑关键任务型6G应用，如实时灾害响应、临时自组网和高容量空中回传。

然而，无人机辅助的FSO/THz系统在实际部署中面临光束失准、路径衰减和随机衰落等严峻挑战，这些因素会加剧动态空中环境中的中断风险和能量需求。为应对这些挑战，需要采用混合自动重传请求（HARQ）等先进的差错控制机制。尽管HARQ在无线标准中已广泛应用，可在可靠性和效率之间取得平衡，但无人机受限于电池寿命和载荷约束，亟需智能功率分配方案，在满足6G严格的URLLC指标（如低于1毫秒的延迟、高于99.99999%的可靠性）的同时，不牺牲其续航能力。

近期研究虽在光链路的HARQ设计方面取得进展，例如针对FSO湍流环境设计功率最小化HARQ策略，或提出用于无人机-THz中继的非正交HARQ以提升频谱利用率，但这些工作多集中于单一模态链路（FSO或THz），且忽视了在混合设置下、尤其是联合延迟-可靠性约束下的自适应功率优化。

为填补这一研究空白，本研究提出了一种创新的基于深度强化学习（DRL）的框架，用于在采用增量冗余HARQ（IR-HARQ）的无人机辅助混合FSO/THz系统中进行发射功率优化。该框架利用马尔可夫决策过程（MDP）捕捉信道的主要失真，包括衰减、闪烁和指向误差，并通过近端策略优化（PPO）训练的智能体动态调整重传过程中的功率分配，以降低平均周期能量，同时确保解码吞吐量满足URLLC阈值。

研究团队为开展此项研究，主要采用了以下几项关键技术方法：首先，建立了混合FSO/THz信道的数学模型，其中FSO信道综合考虑了大气损耗、湍流（采用对数正态分布建模）和指向误差；THz信道则包含了路径损耗（含自由空间损耗和分子吸收）、衰落（采用α-μ分布建模）和指向失准（采用瑞利分布建模）。其次，设计了基于信噪比（SNR）的FSO/THz链路切换机制，以FSO为主链路，THz为备份链路。第三，将功率优化问题构建为马尔可夫决策过程（MDP），其状态空间包含时隙索引和剩余待传比特数，动作空间为发射功率，奖励函数则兼顾功率最小化和传输可靠性。最后，采用PPO算法训练DRL智能体，该算法包含策略网络和价值网络，通过剪裁替代目标函数和广义优势估计（GAE）进行优化。

在系统描述方面，研究考虑了一个无人机向地面基站（BS）传输数据的场景。一个传输周期被划分为静态时隙t，允许每个N比特的数据包最多进行M次重传。系统模型如图1(a)所示，采用混合FSO/THz链路与HARQ相结合的方式。

FSO信道建模显示，复合FSO信道系数h_F由大气损耗h_F^l、大气湍流h_F^t和指向误差损耗h_F^p三者相乘构成。大气湍流采用对数正态分布描述，其概率密度函数（PDF）如公式(1)所示，其中Rytov方差σ_R²表征湍流强度，计算如公式(2)所示，涉及波长λ_F、天顶角ξ、无人机高度h_U、基站高度h_B以及由Hufnagel-Valley模型描述的折射率结构参数C_n²(h)。大气损耗h_F^l与传输距离L和天气相关的衰减系数κ有关。指向误差损耗h_F^p则基于高斯光束轮廓和圆形探测孔径建模，如公式(3)所示。

THz信道建模表明，复合THz信道系数h_T由路径损耗h_T^l、衰落h_T^f和指向失准h_T^p三者相乘构成。路径损耗h_T^l包含自由空间损耗和分子吸收，计算如公式(4)所示，与载波频率f_c^T、吸收系数κ_α^T(f_c^T)以及天线增益G_t、G_r相关。将衰落效应和指向失准合并为h_T^fp= h_T^fh_T^p，其PDF如公式(5)所示，其中α描述传播介质的非线性，μ是(h_T^f)^α归一化方差的倒数，Ω是衰落信道包络的α次根均值。

混合FSO/THz链路的切换方案以FSO链路为主，THz链路为备份。切换阈值γ_th设为2^N-1。当FSO链路的瞬时接收信噪比γ_F低于γ_th时，基站向无人机发送反馈信号激活备份THz链路；否则保持FSO链路活跃。系统的发射功率p(t)由标志变量b_F(t)和b_T(t)决定，即p(t) = b_F(t)P_F(t) + b_T(t)P_T(t)。

HARQ与功率控制部分对比了ARQ、CC-HARQ和IR-HARQ协议的操作差异，如图1(b)所示。IR-HARQ在重传时仅发送冗余比特，从而降低发射功率。各协议在t次传输后的中断概率分别由公式(6)和(7)给出。

在PPO-Based Transmit Power Optimization部分，研究目标是最小化无人机每个周期的平均发射功率，同时确保在最多M次传输内成功传输N比特数据。该优化问题P被表述为在功率约束和成功解码约束下，最小化平均功率。为了解决这个优化问题，研究将其重新表述为一个MDP。状态空间S_t包含当前时隙索引t和剩余待传比特数(N-L)。动作空间A_t为发射功率p(t)。奖励函数r(t)设计为在满足传输性能约束的前提下最小化平均发射功率，具体形式如公式(9)所示，其中包含对成功传输的奖励和对功率消耗及超时传输的惩罚。

PPO算法被用于求解该MDP。PPO包含策略网络（参数为θ）和价值网络（参数为φ）。价值网络通过最小化损失L_t^V(φ)来估计状态值V_φ(S_t)。策略网络则通过优化剪裁替代目标函数L_t^P(θ)来更新，同时考虑策略熵S_πθ(S_t)以鼓励探索。

数值结果与讨论部分展示了在不同大气条件下的广泛仿真结果。系统参数设置如下：FSO链路波长λ_F=1550 nm，天顶角ξ=60°，探测器半径a_F=0.1 m，响应度R=0.9，噪声方差σ_F²=-60 dBm，最大功率P_F^max=30 dBm。THz链路载波频率f_c^T=0.3 THz，天线增益G_t=G_r=55 dBi，探测器半径a_T=0.1 m，衰落参数(α, μ)=(2,1)，噪声方差σ_T²=-60 dBm，最大功率P_T^max=30 dBm。PPO算法参数包括剪裁比例ε=0.2，GAE参数λ=0.95，折扣因子γ_DIS=0.99，奖励函数权重α=2, β=0.5, δ=10。

图2展示了所提方法优化后不同HARQ协议的性能比较，其中N=400字节，M=2个时隙。

结果显示，所有协议在经过约400次训练周期后均达到收敛，证明了学习过程的稳定性。IR-HARQ方案获得了最高的奖励（约200），明显优于CC-HARQ（约130）和ARQ（约100）。此外，混合FSO/THz系统相比单一THz链路（约150）获得了更高的奖励，证明了所提混合配置在降低传输功率同时保持可靠通信性能方面的有效性。

图3呈现了不同HARQ机制下每个传输周期的平均发射功率，并比较了混合FSO/THz系统与仅使用THz链路的系统。

结果表明，IR-HARQ协议在三种HARQ协议中实现了最低的平均发射功率。具体而言，对于N=400字节，IR-HARQ协议所需的平均发射功率约为23.6 dBm，而CC-HARQ和ARQ分别需要24 dBm和24.3 dBm。此外，仅运行在THz链路上的IR-HARQ系统在功率效率上优于使用CC-HARQ和ARQ协议的混合FSO/THz系统。然而，当混合系统采用IR-HARQ机制时，其实现了显著更低的发射功率（对于N=400字节约为23.6 dBm），凸显了其优越性能。这些结果证实了所提出的混合FSO/THz系统结合IR-HARQ协议能够在保持可靠数据传输的同时，有效最小化传输功率。

本研究通过引入一个PPO-DRL框架，用于在增强IR-HARQ的混合FSO/THz系统中进行动态发射功率优化，推动了6G使能的无人机通信发展。通过将问题构建为一个囊括衰减、衰落和失准损伤的MDP，所提出的智能体实现了跨重传的自适应功率缩放和基于SNR的FSO/THz切换（FSO为主链路，THz为备份）。该框架在异构大气体制下的中断概率评估中得到了验证，其鲁棒性得以确认，并肯定了混合IR-HARQ在促进能源高效、具有弹性的空中架构（用于抗灾回传和ISAC范式）方面的关键作用。未来的扩展工作可能包括整合多无人机集群和实时波束跟踪，以进一步推动可持续的6G部署。该论文发表于《IEICE Communications Express》期刊。