针对拜占庭鲁棒在线联邦学习的动态遗憾算法

本文提出联邦学习中的拜占庭攻击鲁棒算法BR-OMGD，解决了现有方法依赖IID假设和非静态环境适应性差的问题，实现了近似最优动态 regret bound，并在离线场景下保证线性收敛，实验验证其有效性。

　　

摘要：

联邦学习允许在多个客户端之间进行去中心化的模型训练，而无需交换原始数据，这使其成为保护隐私的机器学习领域中的一个关键范式。然而，在对抗性和动态环境中部署联邦学习仍然存在根本性的挑战，尤其是在拜占庭攻击的情况下。现有的在线拜占庭鲁棒方法面临两个关键限制：（i）强烈依赖于独立同分布（IID）假设以实现次线性遗憾；（ii）由于依赖于静态遗憾度量，无法适应非静态环境。这些挑战极大地限制了它们在具有异质性和非静态性的实际联邦学习场景中的适用性。为了解决这些问题，本文提出了一种拜占庭鲁棒的在线算法BR-OMGD，该算法执行多次局部梯度下降更新，并结合了一种鲁棒的聚合机制来减轻对抗性影响，即使在弱增长条件下也能实现这一目标。该算法在不依赖IID假设的情况下，实现了接近最优的动态遗憾界限O(S?T，其中S?T表示路径长度的平方。当在线问题简化为离线情况时，BR-OMGD在强凸性、平滑性和弱增长条件下进一步保证了精确的线性收敛，即使在数据异质性和拜占庭对手存在的情况下也是如此。据我们所知，这是第一个在这些条件下建立此类收敛保证的结果。在MNIST、CIFAR-100等基准数据集上的广泛实验表明，所提出的算法具有实际效果，在拜占庭攻击下表现出更好的鲁棒性和更低的动态遗憾。