在差分隐私的Shuffle模型中实现联邦学习：一种通信效率高且具有恶意防护能力的方案

《IEEE Transactions on Dependable and Secure Computing》：Federated Learning in the Shuffle Model of Differential Privacy: A Communication-Efficient and Maliciously Secure Realization

联邦学习通过梯度共享保护隐私但存在信息泄露风险，采用差分隐私洗牌模型增强隐私同时优化通信效率，提出Camel框架集成秘密共享洗牌技术，实现恶意安全防护和轻量级完整性验证，并基于瑞尼差分隐私降低隐私损失，实验证明在隐私-效用权衡上优于现有方法。

　　

摘要：

联邦学习（FL）是一种具有良好隐私保护特性的机制，它允许多个客户端通过仅共享梯度更新而非各自的本地数据集来共同训练模型。由于梯度更新仍可能暴露敏感信息，因此有一系列研究探索了使用局部差分隐私（LDP）机制来正式保护这些更新。在LDP下，每个客户端在共享之前会先对自身的梯度进行局部扰动。然而，LDP常常会因引入大量噪声而导致模型性能显著下降。为了在隐私性和模型性能之间实现更好的平衡，目前有一种趋势是采用差分隐私（DP）中的混合模型（shuffle model），该模型对扰动后的梯度进行中间混合操作，从而增强隐私保护效果。基于这一趋势，我们提出了Came，这是一个在DP混合模型下运行的、具有高效通信能力和抗恶意攻击能力的FL框架。与现有工作相比，Came的一个关键区别在于它新增了对混合计算过程完整性的检查功能，从而能够抵御恶意攻击者的威胁。为实现这一目标，Came基于一种名为“秘密共享混合”（secret-shared shuffle）的加密技术，并通过我们定制的系统级通信优化方法和轻量级服务器端完整性验证机制对该技术进行了改进。此外，我们还利用Rényi差分隐私（RDP）对整个FL过程进行了隐私损失的分析，从而得到了更严格的隐私保护界限。我们的综合实验结果表明，Came在实现更好的隐私-性能平衡方面优于当前的最先进方法，同时保持了良好的性能表现。