《IEEE Transactions on Emerging Topics in Computing》：FairRFL: Fair and Robust Federated Learning in the Presence of Selfish Clients
编辑推荐：
联邦学习(FL)中，自私客户端会操纵训练以使全局模型偏向其本地最优解，导致系统不公平。本研究提出一种新颖的聚合策略FairRFL，它利用稳健统计（如范数中位数）来恢复自私客户端的真实更新，从而在WISDM-W和CIFAR-10数据集上有效解决性能偏差，恢复客户端间的公平性。
在当今数据爆炸的时代，机器学习模型对海量数据的渴求与日俱增。然而，一个核心矛盾也随之凸显：数据的价值往往蕴藏在分散于各处的、私有的、且包含敏感信息的本地数据集中。一方面，集中这些数据进行训练能带来性能强大的模型，但会严重侵犯用户隐私和数据安全；另一方面，完全孤立地在本地训练，又难以汇聚各方智慧，无法获得通用且强大的模型。联邦学习(Federated Learning, FL)应运而生，它像一位高明的协调者，允许多个参与者（客户端）协作训练一个共享的全局模型，而无需交换或集中任何原始本地数据。每个客户端在本地用自己的数据训练模型，只将模型更新（通常是梯度或参数）上传至中央服务器，由服务器聚合这些更新以改进全局模型，再将更新后的模型下发，开始新一轮迭代。这种“数据不动模型动”的范式，在保护数据隐私的同时，解锁了跨设备、跨机构协同学习的巨大潜力，在医疗健康、金融服务、移动设备预测等众多领域展现出广阔前景。
然而，理想的蓝图在实践中遭遇了现实的挑战。联邦学习系统通常假设所有参与者都是诚实且目标统一的，即都致力于提升全局模型的泛化性能。但在真实的部署环境中，参与者（客户端）的动机和利益可能并不一致。最近的研究揭示了一类新颖的、更具隐蔽性和破坏性的不当行为客户端——“自私客户端”。与旨在破坏系统或降低模型整体性能的“恶意客户端”不同，自私客户端的行为动机是利己的：他们可能通过有意地操纵本地训练过程（例如，在本地训练中过度拟合、有偏采样或调整梯度方向），试图“挟持”全局模型的优化轨迹，使其朝着最有利于自身本地数据分布的方向收敛。换言之，他们希望全局模型在他们自己的“领地”上表现极其出色，而可能牺牲其他“正常”客户端的利益。这种行为就像在一场合唱中，有人为了让自己听起来更突出，偷偷调高了麦克风的音量并改变了音调，结果破坏了整体的和谐。在联邦学习中，自私行为带来的后果是双重的：首先，它损害了全局模型的鲁棒性，可能导致模型在其他参与者数据上的性能下降，即整体泛化能力受损；其次，也是更关键的一点，它严重破坏了系统的公平性。自私客户端“搭便车”甚至“抢跑”的行为，使得最终获得的全局模型严重偏向其数据分布，导致不同客户端间的模型性能出现巨大差异和不公，这与联邦学习促进普惠、协作的初衷背道而驰。那么，一个核心问题摆在研究者面前：在无法窥视客户端本地数据和内部运作（保护隐私的前提），又无法完全信任所有参与者（自私行为存在）的情况下，中央服务器如何能够公平、鲁棒地聚合来自各方的模型更新，抵御自私行为的影响，确保系统对所有诚实参与者是公平的呢？
为了回答这个挑战，由研究者提出的论文《FairRFL: Fair and Robust Federated Learning in the Presence of Selfish Clients》在《IEEE Transactions on Emerging Topics in Computing》上发表，并提出了一种名为FairRFL的公平且鲁棒的联邦学习服务器端聚合策略。该研究首先通过实证分析量化了自私行为的危害：在使用WISDM-W和CIFAR-10数据集的实验中，一个自私客户端能够将其自身数据上的模型准确率提升高达39%，并使客户端间的准确率方差增加四倍以上，这清晰证明了自私行为对公平性的严重破坏。面对这一问题，FairRFL的核心创新在于提出了一种新颖的技术，利用鲁棒统计学方法来恢复（或估计）自私客户端的真实模型更新。具体而言，该方法并不简单地拒绝或大幅削弱被怀疑自私的客户端更新（这可能导致信息损失），而是巧妙地通过分析客户端更新向量的范数等统计特性，识别出自私行为导致的偏差，并尝试“矫正”这些更新，使其更接近假设客户端诚实行为时应有的状态。然后，将这些恢复后的更新与正常客户端的更新一同纳入聚合过程。这种方法使得整个学习策略对自私行为具有鲁棒性。实验结果表明，FairRFL能够完美应对自私客户端带来的挑战，有效恢复不同正常客户端之间的性能公平，在保证模型整体效能的同时，维护了联邦学习系统的公正基石。这项研究为构建更可信、更公平的大规模协作机器学习系统提供了关键的技术思路。
研究人员为开展这项研究，主要运用了以下几个关键技术方法：
- 1.
联邦学习框架构建：在标准的联邦学习架构下模拟包含正常客户端和自私客户端的多参与者协作训练场景。
- 2.
自私行为建模：明确定义并实现了“自私客户端”的行为模型，使其能够通过操纵本地训练（如偏向本地数据分布的梯度计算）来影响全局模型。
- 3.
鲁棒聚合策略(FairRFL)设计：提出了核心的服务器端聚合算法。该算法利用鲁棒统计量（特别是客户端更新向量范数的中位数）来检测和评估更新的可靠性，并设计了一种恢复机制来估算自私客户端的“真实”更新，然后将恢复后的更新用于全局模型聚合。
- 4.
实验与评估体系：在公开数据集WISDM-W（人类活动识别）和CIFAR-10（图像分类）上进行了广泛的实验。评估指标不仅包括全局模型在测试集上的整体准确率，更重要的是纳入了衡量公平性的关键指标，如各个客户端本地测试准确率的均值、方差以及自私客户端相对于正常客户端的性能增益等，以全面量化自私行为的影响和FairRFL的缓解效果。
研究结果
- •
自私行为的量化影响：
通过在有/无自私客户端的场景下对比实验，研究人员量化了自私行为的破坏力。在CIFAR-10数据集上，一个自私客户端能使其本地测试准确率提升高达39%。同时，这种自私行为显著增大了客户端间性能的差异，使所有客户端本地准确率的方差增加了四倍以上。这证实了自私客户端会严重破坏联邦学习系统的公平性，导致模型性能极度不均衡。
- •
FairRFL的有效性验证：
在引入了自私客户端的联邦学习训练中应用FairRFL策略。实验结果显示，FairRFL能够成功抵消自私行为带来的负面影响。在WISDM-W和CIFAR-10两个数据集上，采用FairRFL后，正常客户端之间的模型性能差异（以准确率方差衡量）被显著降低，恢复到了与没有自私客户端参与时相近的水平。同时，全局模型的整体泛化性能也得到了保持。这表明FairRFL的更新恢复与聚合机制是有效的。
- •
公平性恢复：
研究的核心成果是恢复了系统公平性。通过比较使用FairRFL前后，正常客户端组内准确率的分布情况，可以观察到FairRFL策略使得所有正常客户端都能从协作训练中公平获益，模型性能分布更加集中和平等，自私客户端无法再通过操纵手段获得不成比例的额外利益，从而在系统中重建了性能公平。
结论与讨论
本研究系统性地提出并解决了联邦学习中“自私客户端”这一新兴且实际的问题。研究明确指出，与传统恶意攻击不同，自私行为源于参与者对自身利益的追求，其目标是使全局模型偏向自身数据分布，这直接损害了联邦学习系统的公平性原则。为了应对这一挑战，论文创新性地提出了FairRFL——一种服务器端的公平鲁棒聚合策略。
该策略的核心贡献在于其“恢复”而非“简单剔除”的思路。通过利用鲁棒统计学方法（如基于范数中位数的分析），FairRFL能够估计自私客户端在诚实行为下本应贡献的模型更新，并将此估计值用于聚合。这种方法既减少了对可能包含有用信息的更新（即便来自自私客户端）的浪费，又有效中和了其中的有偏部分。在WISDM-W和CIFAR-10数据集上的大量实验充分证明，FairRFL能够完美应对自私客户端，显著降低客户端间的性能方差，恢复并维持正常参与者之间的公平性，同时保持模型的整体学习效能。
这项研究的重要意义在于，它将“公平性”与“鲁棒性”在联邦学习中的考量推向了一个更精细、更贴合现实场景的层面。它不仅提供了一种具体可行的技术方案（FairRFL）来抵御自私行为，更重要的是，它启示后续研究需要更细致地区分不同类型的不当行为（恶意 vs. 自私），并针对其不同动机设计相应的防御机制。FairRFL为构建真正可信、可靠、且对所有参与者公平的大规模分布式协作人工智能生态系统迈出了关键一步，尤其在医疗、金融等对公平性和可靠性要求极高的领域，具有重要的应用价值和指导意义。
