集中式顺序联邦学习：用于跨区域负荷预测的单服务器仿真

《Pervasive and Mobile Computing》：Centralized sequential federated learning: single-server simulation for cross-region load forecasting

电力负荷跨区域预测中非IID数据与训练效率问题，提出中央化顺序联邦学习（CSFL）框架。通过逻辑分区模拟多区域客户端，结合动态学习率衰减与轮次重置机制，实现跨区域特征融合，并利用Ward聚类与Pearson相关性分析优化特征工程。实验表明CSFL相比单区域模型平均误差降低22.3%（p=0.032），有效解决集中存储场景下的跨区域预测难题。

　　

周聪|李明|袁龙发|丁楠伟|铁瑞军|曾正|李振

重庆师范大学计算机与信息科学学院，中国重庆沙坪坝区，401331

摘要

为了解决跨区域电力负荷预测中的数据分布异质性（非独立同分布，non-IID）和训练效率问题，本文提出了一种集中式顺序联邦学习（Centralized Sequential Federated Learning，CSFL）框架。在单服务器、集中存储的环境中，CSFL通过逻辑分区模拟多个区域“客户端”，采用顺序式局部训练并结合中心聚合，同时引入动态学习率衰减机制及循环重置机制，以促进跨区域特征的逐步整合。结合基于Ward最小方差聚类和Pearson相关性分析的特征工程流程，CSFL显著提升了跨区域预测性能。实验表明，与直接在各个区域应用单一局部模型相比，CSFL将平均预测误差降低了22.3%，并且根据五次独立运行的配对t检验（$p=0.032$），其改进效果具有统计学意义。该方法在单服务器环境中实现了高效的跨区域知识融合，为电网调度中心提供了一种高性能且易于部署的解决方案。

引言

随着智能电网和可再生能源技术的快速发展，区域电力负荷预测在现代电力系统中发挥着至关重要的作用[1,2]。准确的预测不仅有助于确保电网稳定运行，还能显著提高能源调度效率并减少浪费[3,4]。因此，负荷预测长期以来一直是电力系统运行和管理的核心问题。早期的方法主要依赖于传统的统计模型，如移动平均法[5]、指数平滑法[6]和自回归积分移动平均（ARIMA）模型[7]。尽管这些方法对简单且平稳的时间序列有效，但在处理具有非线性、多尺度结构和强周期性的电力负荷数据时存在局限性。随着深度学习的发展，神经网络在时间序列预测领域取得了显著进展。深度模型能够从大规模数据中自动提取复杂的时间模式，克服了传统方法在非线性建模和泛化方面的不足[8],[9],[10]。在各种深度学习技术中，循环神经网络（RNNs）[11]、卷积神经网络（CNNs）[12]和长短期记忆（LSTM）网络[13]被广泛应用于负荷预测。特别是LSTM通过其门控机制（输入门、遗忘门和输出门）有效模拟了长距离依赖性，并解决了传统RNN的梯度消失/爆炸问题[14]。因此，LSTM已成为处理具有明显周期性和趋势的复杂时间序列的主流方法之一，在负荷预测中表现出强大的性能和广泛的应用前景[15,16]。然而，上述模型主要基于单区域数据进行学习。由于数据异质性和分布变化，跨区域负荷预测仍然具有挑战性，这些预测模型往往无法有效应对这种非独立同分布（non-IID）的环境[17,18]。

联邦学习（Federated Learning，FL）是一种分布式机器学习范式，旨在在保护数据隐私的同时实现高效模型训练[19]。其核心机制是在多个客户端上进行局部模型训练，并仅与中央服务器共享模型参数或梯度，中央服务器执行全局聚合以协同更新模型，从而避免了原始数据的传输。这一特性在隐私和安全要求严格的领域（如金融、医疗保健和电力负荷预测）具有明显优势[20],[21],[22],[23],[24]。此外，FL可以增强模型的泛化能力，并更好地适应去中心化环境中的多样化和异构数据分布[25]。为了解决FL中的关键挑战——特别是数据异质性（non-IID）、高通信成本、异构客户端资源以及部分参与问题，研究社区提出了多种算法改进[26]。例如，联邦平均（FedAvg）[27]定期聚合局部模型参数，并根据样本数量或设备特定权重计算加权平均值以形成全局模型。FedAvg避免了原始数据的共享，通信开销低，适用于非独立同分布（non-IID）环境，并支持大规模设备协作。联邦动态正则化（FedDyn）[28]引入了基于全局梯度的正则化项，动态调整每个客户端的局部目标，使客户端更新更好地与全局最优解对齐，从而在非独立同分布数据下提高收敛稳定性和训练效率。联邦梯度协调（FedGH）[29]通过余弦相似度衡量客户端和全局梯度之间的不匹配，动态调整聚合权重，并对客户端应用梯度校正以减轻数据异质性引起的模型漂移。联邦自适应采样（FedAS）[30]实时评估客户端的训练性能和计算资源，优先考虑高价值客户端，同时引入弹性训练机制以提高资源受限设备的参与度和效率。在这些进展的基础上，循环联邦学习（Cyclical FL）作为一种新的联邦优化策略最近受到了关注[31]。其核心思想是将客户端划分为组，并以循环、轮换的方式参与训练，从而在减少通信开销的同时提高模型泛化能力。在每轮训练中，只有一部分客户端被激活进行局部训练；随后轮换参与的客户端，实现全局信息的逐步整合。这种策略有效缓解了长期使用固定客户端集导致的过拟合和局部最优解问题，特别适用于连接性间歇、资源有限或任务随时间变化的现实世界场景[32]。与FedAvg等同步聚合方法不同，循环FL通过其参与计划引入了结构化的时间和分布多样性，有助于增强模型对跨时间和跨域异质性的鲁棒性[33]。在实际电力系统中，国家电网总部、省级电力公司、研究机构、零售电力提供商和政府监管平台通常持有所有下属区域的负荷数据[34],[35],[36]。这些数据通常存储在统一的数据中心，从而降低了多方数据分发相关的隐私风险。在这种情况下，采用集中式负荷预测方法更为高效和合适[37]。所有区域数据可以直接在中央服务器上进行建模和预测，避免了传统联邦学习所需的频繁参数交换，大大减少了通信开销和系统复杂性[38,39]。然而，在跨区域预测任务中，传统的集中式模型通常基于单一数据集进行训练。虽然它们在源区域内可能实现高精度，但转移到其他区域时性能往往会显著下降，反映了泛化能力的局限性[40]。这种限制在区域异质性下尤为明显，从而限制了集中式模型在多区域负荷预测中的实用性和可扩展性[41]。鉴于此，实际部署中的跨区域负荷预测仍然面临预测精度不足、训练成本高和通信开销大的问题，这些都阻碍了其在复杂电网环境中的应用。传统的联邦学习强调隐私和设备去中心化；然而在实际调度中心，数据通常集中在总部服务器上，主要关注点从隐私转向了跨区域泛化和工程可部署性。为此，我们提出了一种集中式顺序联邦学习（CSFL）框架，该框架通过逻辑数据分区在单服务器集中存储环境中模拟多个区域客户端。通过利用顺序式局部训练和内存级参数聚合机制，所提出的框架实现了有效的跨区域知识融合，通信开销可忽略不计。本工作的主要创新和贡献总结如下：

1.

我们提出了一个集中式顺序联邦学习（CSFL）框架，据我们所知，这是第一个在单服务器环境中通过逻辑分区模拟联邦架构的框架。它用顺序式局部训练和内存中的中心聚合替代了设备间的通信，实现了跨区域特征融合，同时保持了集中训练的效率。

2.

我们设计了一种耦合的动态学习率衰减和循环重置方案：指数减半计划

${\eta }_t\times 2^{?t}$增强了局部特征学习，而在每轮开始时重置为初始学习率有助于避免局部最优解，显著提高了非独立同分布（non-IID）条件下的泛化能力。

3.

我们应用了一种现有的领域导向特征选择流程——结合Ward最小方差聚类和Pearson相关性分析——以获得可转移的跨区域时间序列表示。

部分内容摘录

LSTM预测模型

本文采用长短期记忆（LSTM）网络作为基础预测模型。LSTM采用门控架构，包括单元状态以及输入门、遗忘门和输出门，动态调节信息流，缓解了传统RNN的梯度消失问题，并有效捕获了长期时间依赖性。该架构如图1所示。

单元状态$C_{}$作为LSTM的核心组件，负责跨

数据集描述

本研究基于第九届“中国电力工程杯”全国本科生电气数学建模竞赛发布的官方基准数据集。该数据集内容丰富，涵盖了2012年1月1日至2015年1月10日的时期，包括关键气象和负荷变量：最高温度（°C）、最低温度（°C）、平均温度（°C）、相对湿度（%）、日降水量（mm）和电力负荷（MW）。数据记录在

独立同分布（IID）条件下的跨区域预测性能

在本节中，采用LSTM网络作为预测模型。为了评估所提出的集中式顺序联邦学习（CSFL）框架的跨区域预测性能，我们将其与在两个区域独立训练的纯局部模型进行了比较，分别称为Local Model 1和Local Model 2。在CSFL框架内，实施了四种不同的聚合策略——FedAvg、FedDyn、FedGH和FedAS——以模拟联邦风格的参数融合。

结论与未来工作

本文解决了集中存储场景下非独立同分布（non-IID）数据导致的泛化能力有限和效率低下的问题，并提出了集中式顺序联邦学习（CSFL）框架。实验结果表明，CSFL在独立同分布（IID）和季节性非独立同分布（seasonal Non-IID）条件下均优于跨区域局部模型，平均预测误差降低了22.3%（p = 0.032），同时提高了训练效率

CRediT作者贡献声明

周聪：形式分析、数据整理、概念化。李明：验证、监督。袁龙发：方法论、调查。丁楠伟：软件、资源。铁瑞军：项目管理、方法论、概念化。曾正：撰写——原始草稿、可视化。李振：概念化。