基于小波增强的联邦学习与个性化自适应原型

《Neurocomputing》：Wavelet-enhanced federated learning with personalized adaptive prototypes

隐私保护与通信效率优化的个性化原型联邦学习框架提出，通过离散小波变换分解原型并上传低频信息实现93.75%通信开销 reduction，同时构建客户端定制化训练线程解决非独立同分布数据异构性问题。

　　

杨旺卓|陈波|王建政|沈颖|王哲明

浙江工业大学自动化系，中国杭州市西湖区刘和路288号，310014

摘要

尽管基于原型的联邦学习方法解决了客户端数据和模型结构的隐私和安全问题，但仍面临以下两个主要挑战：i) 统一的全球原型无法完全满足非独立同分布（non-IID）客户端的需求；ii) 物联网设备难以承受初始原型的高通信成本。为了解决这些问题，本文提出了一种使用小波变换（pFedWave）的个性化原型联邦学习方法。该方法通过离散小波变换分解原型，从而仅上传低频信息以消除高频噪声并减少通信开销。然后，为每个客户端的原型建立个性化的训练线程，以提高原型与客户端系统之间的一致性。大量实验证明了pFedWave在非独立同分布数据和模型异构性下的有效性。结果表明，在各种噪声条件下，该方法具有更高的准确性，同时保持了较低的通信成本。

引言

物联网设备与计算能力的结合已经扩展到工业、医疗和商业领域[1]、[2]、[3]、[4]。这种扩展加剧了对数据[5]和模型隐私的关注。因此，联邦学习（FL）因其无需交换原始数据即可训练模型的能力而受到了广泛的研究关注[6]。在实际场景中，客户端面临数据非独立同分布（non-IID）和异构性的挑战，这使得简单的加权平均无法为所有客户端生成最优的全球模型[7]。针对这一问题，黄等人[8]、唐等人[9]、陈等人[10]和丁等人[11]提出了个性化联邦学习方法。然而，这些方法都受到所有客户端共享相同模型结构的限制，从而暴露了建模过程的信息。

为了解决这些问题，出现了具有异构模型的FL方法[12]、[13]、[14]，为数据隐私保护开辟了新的方向。这些方法从数据中提取特征信息，然后通过特征融合指导客户端模型训练。通常，知识蒸馏与联邦学习结合使用，以提取具有代表性和泛化能力的特征[15]、[16]、[17]。然而，这些方法要么需要高质量的公共数据集，要么需要额外的蒸馏模型来辅助。除了知识蒸馏之外，基于特征的方法为具有异构模型的FL提供了可行的解决方案[12]，它们利用本地模型从数据中提取低维特征，然后共享这些特征的均值。此外，易等人[18]提出了一种共享代理特征提取方法，每个客户端分别训练一个同构的代理特征提取器和一个异构模型，随后通过融合代理特征提取器来优化异构模型。然而，这些方法要求客户端上传关于本地样本类别分布的信息，这带来了额外的隐私问题。尽管张等人[19]提出了一种基于对比学习的全球可训练原型FL框架，避免了向客户端请求数据分布信息，但它仍然要求所有客户端共享一个统一的全球特征。这些方法未能充分解决非独立同分布客户端数据的问题。

同时，决策网络的输入维度决定了特征的大小，较大的特征尺寸会导致资源受限的物联网设备通信延迟[20]。为了减少通信开销，朱等人[21]提出了一种基于异或逻辑运算技术和一次性密码本方法的加密和解密机制，王等人[22]使用对数量化器来控制网络通信，鲍等人[23]提出了一种具有线性加速的错误反馈压缩FL框架。然而，这些方法无法确定特征在加密、量化或压缩后的失真情况。

受这些限制的启发，本文提出了一种新型的个性化原型联邦学习框架pFedWave，其中嵌入了小波变换。该框架采用可训练的原型策略，为每个客户端设计个性化的映射模型。具体来说，我们使用离散小波变换分解客户端原型，然后仅上传其低频分量到服务器，从而减少通信成本并过滤掉高频噪声干扰。在小波变换的指导下，提出的pFedWave可以在不丢失主要信息的情况下进一步压缩每个客户端上的原型。为了提高服务器计算原型对非独立同分布数据的适应性，我们在服务器上为每个客户端建立了独立的线程。利用[19]中的自适应对比学习方法，我们设计了针对每个相应客户端拥有的样本类别的个性化映射模型。

为了评估所提出的pFedWave的有效性，本文通过大量实验将其与四种最先进的方法进行了比较，使用了四种异构模型和三种常见的噪声类型。本文的主要贡献如下：

• 1)
  认识到数据不足会阻止非独立同分布客户端获得一致的全局类别原型，本文设计了一个个性化原型联邦学习框架。该框架基于每个客户端本地数据的类别分布构建。
• 2)
  本文提出了一种基于小波的FL方法pFedWave，该方法使用离散小波变换分解原型，然后仅上传低频分量以减少通信成本并消除高频噪声干扰。
• 3)
  在三种数据集和四种噪声类型上进行的广泛实验表明，所提出的pFedWave的性能优于最先进的方法，特别是在每轮通信开销减少了93.75%的情况下，实现了更高的准确性。

章节摘录

联邦学习

联邦学习旨在解决多个客户端数据不足带来的协作挑战，同时确保隐私和安全[7]、[24]。然而，这些早期的联邦学习研究没有考虑非独立同分布数据的问题。在这种情况下，开发了个性化FL方法，例如为每个客户端构建个性化特征空间[25]、基于模型参数距离的个性化惩罚机制[8]、近似加权融合方法

问题表述与动机

$$客户端希望在不与其私有和异构数据集交互的情况下实现私有模型的协作训练$$。根据FedTGP[19]的思想，每个客户的模型$$分为两部分：特征提取器$$和任务特定处理器$$，其中$$是提取器参数，$$是决策参数。每个客户端将本地原型$$上传到服务器，以从多个来源寻求信息协作。

提出的方法

在本节中，开发了一种结合离散小波变换的原型联邦学习算法，并推导了其收敛条件。此外，还将介绍个性化原型的计算框架$$。图1展示了所设计方法的整体结构。

实验设置

该程序在基于Ubuntu 20.04.3 LTS的服务器系统上运行的PyTorch 1.9框架内执行。核心硬件包括512 GB内存、NVIDIA 3090 GPU和3.6 GHz的Intel Core i7 CPU。实验中使用的流行数据集包括MNIST [40]、CIFAR-10和CIFAR-100 [41]。

结论

在本文中，我们提出了一种基于小波变换的个性化原型联邦学习框架pFedWave，它利用离散小波变换从本地原型中提取低频分量。通过独立的计算线程，它建立了个性化的客户端原型映射模型。理论分析和实验评估都证明了所设计的pFedWave的有效性。尽管已经证明了pFedWave的可行性

CRediT作者贡献声明

杨旺卓：撰写——原始草稿、可视化、验证、方法论、调查、概念化。陈波：撰写——审稿与编辑、方法论、资金获取、概念化。王建政：方法论、调查、概念化。沈颖：方法论、调查。王哲明：方法论、调查、资金获取。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

致谢

这项工作部分得到了中国国家自然科学基金联合资助（项目编号：U24A20258 280和中国国家自然科学基金项目编号：92367205），以及浙江省领先创新和创业团队引进计划（项目编号：2023R01006）的资助。此外，还得到了浙江省属高校基本研究经费（项目编号：RF-C2025002）的支持。

杨旺卓于2014年在中国杭州的浙江工业大学获得自动化与电气工程学士学位，2017年在宁波大学获得电气工程与计算机科学硕士学位，2024年在中国杭州的浙江工业大学获得控制科学与工程博士学位。他目前是计算机科学领域的博士后研究助理