针对能源社区中的联合成本与舒适度优化，基于个性化联邦 actor-critic 学习方法的研究 作者：Sotirios Spantideas 和 Anastasios Giannopoulos

《Sensors》：Personalized Federated Actor–Critic Learning for Joint Cost–Comfort Optimization in Energy Communities Sotirios Spantideas and Anastasios Giannopoulos

　　

摘要

家用能源管理系统（HEMS）旨在以最低的能源成本智能控制智能建筑内部的熱舒适度，同时满足能源消耗需求并增加可再生能源的使用。由于环境观测的个性化特性，这些智能能源管理系统的功能受到限制，导致收集到的信息有限，从而可能做出次优的决策。此外，最近一些建筑被组织成了小型能源社区，其最终目标是在联邦学习框架中实现各成员之间的信息共享。在此背景下，我们提出了一种基于莫罗包络（Moreau envelopes）的个性化联邦深度强化学习方法（pFedMe），用于多户智能家庭组成的能源社区中的能源成本和家庭舒适度优化。具体而言，该方法引入了双延迟深度确定性策略梯度（TD3）演员-评论家（actor–critic）模型，该模型能够动态观察智能家庭环境的状况，并提出对能源存储系统运行和室内温度调节的控制措施。TD3演员-评论家模型在系统的连续控制中提升了策略性能，减轻了过估计偏差，并提高了智能代理的训练稳定性。通过基于真实数据的仿真验证了该方法的效率，与FedAvg和Fedprox基线相比，该方法在能源成本和热舒适度之间实现了有益的平衡。结果表明，与FedAvg和FedProx相比，pFedMe框架在收敛速度和总体奖励方面均表现出更好的性能，能源成本降低了约10%，同时热舒适度的表现也较为理想。