编辑推荐：
高速铁路毫米波通信中，无人机同时传输与反射可重构智能表面（UAV-STAR-RIS）系统通过间接空中链路克服地面障碍物信号遮挡问题。本文提出基于Lyapunov的增强软演员-批评家算法（LySAC），通过构造功率约束偏移序列和无人机轨迹偏移序列，将长期约束融入即时奖励函数，解决基站功率过载和轨迹偏移导致的速率下降问题。实验表明该方法显著提升系统速率，为高铁UAV-STAR-RIS通信提供理论支持。
陈凯先|陈勇
兰州交通大学电子与信息工程学院，中国兰州730070
摘要
随着高速铁路（HSR）数据传输速率要求的快速增长，毫米波（mmWave）通信技术已成为提升HSR数据吞吐量的关键技术。无人驾驶飞行器（UAV）同时传输和反射可重构智能表面（UAV-STAR-RIS）辅助的HSR毫米波通信系统可以建立空中间接链接，从而克服了直接链接易受遮挡的影响。然而，违反发射功率或UAV轨迹约束可能会导致基站（BS）功率过载或UAV轨迹偏移，从而降低总速率。为了解决这个问题，本文提出了一种基于李雅普诺夫理论的强化学习（LySAC）优化算法。我们首先通过构建功率约束偏移序列和UAV轨迹偏移序列将长期约束纳入奖励函数中。随后引入了基于李雅普诺夫的偏移序列漂移惩罚项，以量化对发射功率和UAV轨迹约束的违反情况。该惩罚项被纳入MDP奖励函数中，使得在每次策略更新时都能逐步减轻约束违反，并有效地将总速率最大化问题重新表述为即时奖励优化问题。此外，漂移反馈使得LySAC算法能够实时优化功率分配、UAV轨迹和STAR-RIS相位偏移矩阵，从而提高总速率。实验结果表明，与参考方法相比，所提出的方法显著提高了UAV-STAR-RIS辅助HSR毫米波通信系统的传输速率，为HSR UAV-STAR-RIS毫米波通信提供了理论支持。
引言
高速铁路（HSR）作为交通基础设施的重要组成部分，近年来发展迅速。目前，全球HSR网络的建设长度已达65,000公里。随着乘客数量的激增，HSR通信系统越来越需要支持数据密集型应用，包括宽带互联网接入、娱乐服务、视频共享、列车控制与管理、远程操作和实时监控。这些新兴需求对HSR通信网络中的高数据速率传输的连续性和可靠性提出了严格的要求[1]。
为了满足HSR不断增长的网络需求，毫米波通信技术受到了广泛关注，其在30–300 GHz频段运行，可提供高达数Gbps的数据传输速率。然而，毫米波信号存在严重的穿透损耗，并且极易受到遮挡。信号容易被轨道旁的树木和建筑物等地面障碍物阻挡，导致列车端接收到的信号质量显著下降，甚至导致链路中断[2]。
UAV-STAR-RIS是一种结合了UAV和STAR-RIS的通信系统架构，能够提升空中的无线通信链路性能。它目前被广泛用于克服地面障碍物带来的限制[3]。具体来说，UAV可以快速部署在空中，作为动态中继，在HSR毫米波信号受阻的区域提供辅助通信。作为一种创新的RIS技术，STAR-RIS通过同时实现信号反射和传输，克服了传统RIS系统的局限性。通过调整每个单元的相位和幅度，它可以重塑无线信道，实现全空间信号增强[4]。
目前，关于UAV-STAR-RIS系统的研究仍面临若干挑战。一方面，基站（BS）需要同时支持直接链接和STAR-RIS辅助链接的发射功率。不适当的功率分配如果违反规定约束，可能会导致BS过载并带来潜在的安全风险。另一方面，UAV必须严格遵守飞行区域约束，否则轨迹偏移会削弱辅助链接的有效性，从而导致数据传输速率下降[5]。
因此，在基于UAV的STAR-RIS辅助HSR毫米波通信系统中，如何高效配置STAR-RIS相位偏移以在满足BS发射功率约束和UAV轨迹安全约束的同时最大化总速率，已成为一个关键的研究焦点。关于UAV-STAR-RIS系统的总速率优化，现有研究大致可以分为基于传统优化方法和基于深度强化学习（DRL）的方法。在传统优化方法方面，赵等人[4]采用交替优化（AO）算法来联合优化UAV轨迹、STAR-RIS波束成形和功率分配，以提高总速率。这种方法需要在优化某个特定变量时固定其他变量，这限制了策略搜索空间，从而限制了总速率性能。刘等人[6]在集成空地网络（SAGIN）框架下研究了STAR-RIS辅助的列车对地面通信，通过联合优化STAR-RIS相位偏移和流量调度来提高总传输比特数。从DRL的角度来看，郭等人[7]采用基于DDQN的算法来联合优化功率控制、STAR-RIS传输-反射系数和UAV飞行区域约束，旨在提高系统性能。DDQN固有的Q值估计问题可能导致次优动作选择，从而降低UAV轨迹规划和相位偏移控制的稳定性。此外，杨等人[8]和张等人[9]使用块坐标优化或基于DDQN的方法研究了UAV-RIS辅助的MISO系统和通用无线通信场景中的总速率或容量最大化问题。在高度时变的HSR环境中，这些方法往往难以及时响应信号遮挡和拓扑变化，导致优化性能受限。赵等人[10]提出了一种基于DDPG的UAV-RIS辅助车辆通信方案，在连续动作空间中优化了UAV轨迹和RIS反射系数。其在动态环境中的探索能力仍然有限，容易收敛到局部最优解。王等人[11]将UAV-RIS架构引入HSR毫米波通信中，以在容量约束下增强通信安全性，但在频繁遮挡条件下，固定RIS辅助链接的稳定性仍难以保证。
总之，基于UAV的STAR-RIS辅助HSR毫米波通信系统可以在HSR场景中视线（LoS）链接被轨道旁障碍物阻挡时建立间接空中链接。然而，UAV-STAR-RIS系统中频繁违反BS功率约束和UAV轨迹约束所带来的挑战仍未解决，这反过来又会导致总速率下降。为了解决这个问题，本文提出了一种基于李雅普诺夫理论的SAC算法。该算法构建了功率约束偏移序列和UAV轨迹偏移序列，联合优化BS发射功率约束、UAV轨迹以及STAR-RIS系统的传输-反射相位-幅度矩阵，以提高通信总速率。本文的主要贡献总结如下：
- 我们构建了一个UAV-STAR-RIS辅助的HSR毫米波通信模型，在毫米波信号被轨道旁障碍物阻挡时建立间接通信链接。推导出了总速率的优化目标函数，以确保信号传输的稳定性，并将优化问题进一步转化为马尔可夫决策过程（MDP）。
- 我们提出了一种基于李雅普诺夫理论的LySAC算法，该算法构建了功率约束偏移序列和UAV轨迹偏移序列。通过联合捕获功率和轨迹约束的累积偏移，推导出了李雅普诺夫漂移惩罚项。该惩罚项被纳入奖励函数中，使得总速率最大化问题转化为即时奖励形式。
- 利用李雅普诺夫偏移序列的漂移反馈，所提出的方法能够实时优化UAV轨迹、功率分配以及STAR-RIS的传输和反射相位-幅度矩阵。这种设计确保了在HSR场景中信号受阻条件下，可以通过安装在UAV上的STAR-RIS动态建立稳健的通信链接，从而保持通信可靠性并提高整体总速率性能。
- 最后，我们通过仿真实验验证了所提出方法的有效性。实验结果表明，与其他方法相比，所提出的方法显著提高了总速率，满足了HSR的数据传输速率要求。
本文的其余部分组织如下：第2节回顾了相关工作。第3节描述了系统模型。第4节设计了李雅普诺夫偏移序列。第6节提出了基于李雅普诺夫优化的LySAC算法。第6节给出了仿真结果和分析。最后，我们在第7节得出了本文的结论。
部分摘录
UAV辅助通信
为了解决HSR通信系统中基站（BS）与列车之间视线（LoS）链接频繁被遮挡的问题，由于UAV在快速按需部署、灵活机动性和广泛覆盖能力方面的优势，已被广泛采用[8]。在提高链接稳定性方面，颜等人[12]提出了一种基于KF-LSTM的波束跟踪算法，通过利用UAV辅助的动态
系统模型
本节介绍了所提出的UAV-STAR-RIS辅助HSR无线通信系统模型，该模型包括一个基站（BS）、一个安装在UAV上的STAR-RIS和一个安装在列车上的移动中继（MR）天线终端。详细的通信模型如图1所示。表1总结了系统模型中的主要符号及其定义。
李雅普诺夫偏移序列的设计
对于（10）中的耦合连续决策优化问题，虽然理论上可以应用拉格朗日乘数法等解耦方法，但HSR无线信道的快速变化会导致解耦变量数量呈指数级增长，从而导致“维度爆炸”，进一步复杂化解决方案空间的搜索。在本文中，我们提出了一种基于李雅普诺夫理论的SAC优化算法。
带有李雅普诺夫优化的LySAC算法
本文提出的LySAC算法通过引入偏移序列和李雅普诺夫偏移序列漂移惩罚项，在系统稳定性和总速率优化之间取得了平衡。LySAC算法的流程图如图3所示。仿真结果与分析
在本节中，通过与其他方法的比较评估了所提算法的性能。此外，还进行了消融研究以验证每个模块的有效性。
结论
本文解决了HSR毫米波通信系统中由于信号遮挡导致的信号突然下降问题，这显著影响了可实现的总速率。在基于UAV的STAR-RIS场景中，我们提出了一种LySAC算法。具体来说，构建了受轨迹和功率约束的偏移序列，并将李雅普诺夫漂移惩罚项纳入奖励函数中。通过将总速率优化转化为即时奖励，所提出的
CRediT作者贡献声明
陈凯先：撰写——原始草稿、可视化、验证、软件、资源、方法论。陈勇：撰写——审稿与编辑、监督、资金获取、形式分析、概念化。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
本工作得到了国家自然科学基金[62462043和甘肃省自然科学基金[26JRRA589]的支持。我们感谢所有匿名审稿人的宝贵时间和努力。
