移动设备和物联网的前所未有的增长推动了蜂窝网络为用户提供大规模的接入能力和宽带。通过在目标区域部署大量低功耗的小型基站（SBSs），全双工（FD）超密集网络（UDNs）被广泛认为是实现更高频谱效率和支持大规模接入的关键技术之一[1,2]。由于UDNs中SBS的发射功率较低，它们为实施FD通信提供了理想的平台。然而，SBS的密集部署伴随着严重的干扰和能耗增加。因此，有效的干扰和能源管理对于促进FD-UDNs的部署至关重要。
由于对高频谱效率（SE）的需求，许多研究关注通过资源分配（RA）技术在FD-UDNs中优化吞吐量和SE[[3], [4], [5], [6], [7], [8], [9], [10]]。这些研究忽略了能源效率和功耗问题，这可能导致更高的能源成本和可持续性的降低。其他研究则将方向转向了FD蜂窝网络中的能源效率（EE）优化[[11], [12], [13], [14], [15]]。然而，这些研究忽略了超密集部署的特点，即SBS的数量通常超过活跃用户数量，导致许多SBS未得到充分利用。减少能耗和干扰的一个关键策略是关闭这些闲置的SBS，仅保持必要的基站处于活跃状态。
基站睡眠作为一种有效的方法被广泛采用，以减少超密集网络中的能耗[[16], [17], [18], [19], [20], [21], [22], [23]]。然而，其在FD-UDNs中的应用受到的关注较少。现有的FD研究要么专注于自回传[24,25]，要么依赖于集中式的传统优化[26]。方法[26]在网络不断变化的情况下存在较高的信号开销和计算负担，这突显了需要可扩展、自适应的解决方案。
简而言之，将资源分配和基站睡眠技术相结合在解决FD-UDNs中的干扰和能耗问题方面非常有效。据我们所知，针对动态特性和无线网络持续变化的自适应联合资源分配和基站睡眠问题在FD-UDNs中尚未得到充分探索。为了填补这一空白，我们提出了基于强化学习（RL）的算法，以实时自适应地优化资源分配和基站睡眠，从而提升整体网络管理。本文的主要贡献如下：
•开发了一个混合框架，用于在服务质量（QoS）约束下联合优化FD-UDNs中的基站睡眠和资源管理，以最大化能源效率。该框架采用混合整数非线性规划（MINLP）进行优化，并将其分解为两个子问题：（1）基站睡眠管理（SM）和（2）资源分配。首先优化基站的开关状态，然后进行资源分配优化，这个过程会迭代进行，直到收敛。
•我们引入了新的性能指标，包括空闲子信道速率（FSR）、全双工速率（FDR）、满意度（SR）和不满惩罚（DP），这些指标量化了各种网络特性。这些指标被整合到基于RL的解决方案中，以指导优化过程。
•我们设计了两种用于FD-UDNs联合优化的新型DRL架构：CSDRA框架采用集中式睡眠调度和分布式资源分配的混合控制方案；DSDRA框架则完全分布式，每个SBS自主管理其睡眠状态和用户资源。
•与大多数仅通过资源分配来最大化网络能源效率的FD研究不同，我们的工作结合了基站睡眠和资源分配，以实现更大的节能效果和更好的干扰管理。虽然参考文献[26]探索了类似的策略，但其传统优化方法在动态网络环境中会产生较高的计算和信号开销。参考文献[17]也同时应用了这两种策略，但仅关注下行用户（DL），不适合FD-UDNs。我们的框架同时考虑了下行和上行用户。我们还纳入了更广泛的网络参数，并利用联邦学习（FL）来提高基于双重代理的RL框架的性能。表1展示了我们方法与相关顶级研究的比较。
我们还提供了证据，证明我们提出的方法在可扩展性方面优于[26]的方法，并且在性能上超过了[17]的基于HD的DRL方法（在FD环境中实现了更高的EE和满意度）。此外，我们的DSDRA方法在性能上接近[26]的方法的结果。
本文的其余部分结构如下：第2节介绍系统模型和问题表述；第3节描述了基于RL的解决方案；第4节提供了计算和信号分析；第5节展示了仿真场景和评估结果；第6节总结了本文。
