通过特征解耦实现弱监督下的核分割的公平联邦学习

《Pattern Recognition》：Fair Federated Learning for Weakly Supervised Nuclei Segmentation via Feature Disentanglement

本文提出FedPEFD框架，通过DONet解耦客户端特征以减少领域偏差，并利用FedPE动态调整聚合权重以纠正模型偏倚，实验表明该方法在弱监督细胞核分割任务中优于现有联邦学习方案。

　　

作者：钱毅、潘西鹏、余航、文一民、边新军

单位：中国桂林电子科技大学图像与图形智能处理广西重点实验室，桂林，541004

摘要

在医学图像分析中，核分割技术的发展受到高昂的数据采集成本和隐私法规的阻碍。而联邦学习（FL）作为一种保护隐私的分布式方法，显示出解决这些挑战的巨大潜力。然而，领域偏斜仍然是一个重要问题，主要体现在两个关键问题上：1）客户端之间的特征差异：不同的数据采集环境会产生特定于领域和普遍适用的特征，将这些特征合并到全局模型中可能会降低其他客户端的性能；2）模型聚合偏差：客户端之间的领域多样性要求联邦模型应对多种挑战，但大多数方法使用的固定聚合权重无法覆盖所有情况，从而导致模型聚合偏差。为了解决这些问题，我们提出了一种新的联邦学习框架，该框架结合了解耦正交网络（DONet）和联邦利润估计（FedPE）。DONet采用双分支设计来分离跨客户端特征和本地特征，并利用正交注意力机制来最小化特定于领域的特征对全局模型的干扰。FedPE是一种基于公平性的策略，它使用辅助模型来评估客户端的参与收益，并动态调整聚合权重，从而纠正全局模型偏差，确保不同领域的更新更加公平。广泛的实验表明，我们的方法在性能和可靠性方面均优于现有的联邦学习方法。

引言

核分割是计算机辅助组织病理学图像分析中的基本任务。准确的分割不仅有助于疾病诊断和分级[1]，也是术后治疗的重要基础[2]。尽管深度学习方法在这一领域表现出色，但其训练严重依赖于像素级别的注释。由于病理图像的高密度特性，获取此类注释的成本极高。弱监督学习通过使用简化注释（如点标签[3]）来减轻这一负担，并且仅凭有限的注释信息就能达到与完全监督方法相当的性能。然而，来自单一医疗机构的数据总是有限的。虽然将多机构的数据集聚合起来进行集中训练似乎是一个自然的解决方案，但医疗数据的敏感性要求严格的伦理和监管约束，这使得其实施变得不切实际。因此，在保护隐私的同时实现医疗机构之间的协作建模已成为一个重要的研究方向。

联邦学习（FL）[4] [5]是一种保护隐私的分布式训练框架，在医学图像分析中显示出巨大潜力[6]。与传统集中式方法不同，FL共享模型参数而不是原始数据，从而有效保护了用户隐私。然而，FL中的一个关键挑战是数据异质性，即客户端数据的非独立同分布（Non-IID）特性[7]。领域偏斜是这种异质性的具体表现形式，它突显了不同客户端之间特征分布的差异。为了研究各种病理图像数据集之间的差异，我们对五个数据集（CoNSeP [8]、CRAG [9]、DigestPath [10]、GlaS [11] 和 PanNuke [12]）进行了降维可视化分析，如图1(a)所示。从可视化结果来看，这五个数据集在特征空间中存在显著的分布差异，并且彼此明显分离。其中，DigestPath [10] 的特征分布相对独立，与其他数据集的重叠最小，而 CRAG [9] 的分布较为分散，与 CoNSeP [8] 和 PanNuke [12] 有大量重叠，表明它们在某些图像特征上具有很强的相似性。为了更好地理解这些分布差异在病理图像中的表现，我们计算了这五个数据集的总灰度像素强度，并在图1(b)中可视化了代表性样本。灰度值直接反映了像素亮度，使得跨数据集的成像特征比较变得直观。这些差异主要源于成像设备和染色协议的不同。

在领域偏斜的情况下，每个客户端都从其自己的领域收集数据，导致特征分布存在显著差异，并引发了一个双重耦合困境。一方面，领域偏斜放大了客户端之间的特征分布差异。不同客户端之间的数据分布差异使得局部最优解相互偏离，迫使全局模型在聚合过程中在不同方向之间妥协，最终倾向于数据量较大或特征集中的领域。这不仅降低了模型的泛化能力，还可能降低一些医疗机构参与FL研究的积极性，这与FL促进合作的初衷相悖。现有方法主要通过优化目标来减少全局模型和本地模型之间的差距，或采用个性化FL来解决这一问题。尽管在特定任务中有效，但这些方法未能充分利用跨客户端特征的相关性，因此在处理分布变化时不够稳健。另一方面，领域偏斜在模型聚合过程中引入了权重偏差。大多数现有的联邦聚合策略[13] [14]依赖于一个或多个权重分配指标，这些指标通常忽略了客户端之间的领域多样性。这种策略在更新阶段经常忽略非主导领域，从而导致模型收敛过程中的聚合偏差。具体来说，聚合偏差使全局模型倾向于支持主导领域，迫使每个客户端在后续轮次中沿着这种偏差方向进行更新。这进一步扭曲了客户端的特征表示，加剧了领域间的差异和聚合偏差。因此，需要一种充分考虑领域多样性和每个客户端贡献的权重分配机制。通过减轻客户端之间的特征差异和聚合偏差，我们可以构建一个更加稳健的FL框架，公平对待所有参与者，并从多样化的数据集中有效学习。

为了解决领域偏斜下的特征差异和聚合偏差问题，我们提出了联邦利润估计和特征解耦（FedPEFD）框架。该框架结合了解耦正交网络（DONet）和联邦利润估计（FedPE），以增强跨领域泛化能力并保证公平协作。DONet采用双分支架构和正交性约束，将客户端特征分解为领域不变（共享）和客户端特定（独特）的表示，从而减少跨客户端分布差异，为公平的贡献估计提供更清晰的特征空间。在这些解耦特征的基础上，FedPE通过比较协作训练与独立训练的性能收益来近似纳什谈判解（NBS），从而动态调整聚合权重，对抗对主导领域的偏差。值得注意的是，DONet和FedPE相互增强：DONet的解耦特征使FedPE能够准确估计每个客户的贡献，而FedPE的公平性意识聚合则减少了后续训练中的表示漂移。通过紧密整合解耦学习和协作优化，FedPEFD打破了领域偏斜的负反馈循环，实现了泛化能力和公平参与的平衡。我们的主要贡献总结如下：

• 我们提出了联邦利润估计和特征解耦框架，旨在提高FL在应对领域偏斜挑战时的性能，同时确保最终决策的可靠性。
• 我们提出了DONet网络框架，该框架通过跨客户端信息增强局部模型的泛化能力；FedPE聚合策略通过考虑客户利益和参数贡献来提高公平性。
• 在最近的弱监督分割和联邦学习任务上的广泛实验表明，我们提出的方法优于现有的最先进模型。

联邦学习中的公平性

联邦学习（FL）是一种保护隐私的分布式训练范式，多个客户端在不共享原始数据的情况下协作学习全局模型。McMahan等人[4]提出的一个开创性框架采用了基于数据大小加权的局部训练-全局聚合方案。后续方法，如FedProx [15]和带有冻结 Backbone及视觉提示的FL [16]，提高了在Non-IID数据下的鲁棒性或降低了通信成本。然而，这些方法主要关注...

初步研究

联邦学习。 联邦学习是一种去中心化的机器学习框架。在包含N个客户端的FL系统中，每个客户端都有不同的本地数据，表示为D_N，其中N ∈ {1, 2, …, i}。在第k轮联邦学习中，全局模型表示为w_kg。每个客户端根据其本地数据集D_i训练自己的模型，从而获得自己的局部模型w_k,ic。局部模型的变化定义为Δw_k,i = w_k - w_k,i。随后，更新下一轮的全局模型。

实验设置

数据集。 我们在Lizard数据集[35]上进行了核分割实验。Lizard数据集来自六个来源：CoNSeP [8]、CRAG [9]、DigestPath [10]、GlaS [11]、PanNuke [12]和TCGA [36]。由于TCGA仅用于验证且不公开，我们使用其余五个来源作为五个FL客户端。所有图像的放大倍数为20倍（约0.5 μm/像素）。对于每个来源，我们将数据随机分为训练集、验证集和测试集，比例分别为60%、20%和20%。

讨论与局限性

尽管我们提出的框架在联邦核分割任务中表现出了良好的性能，但仍需承认一些局限性，以便对其适用性进行全面和透明的评估。

结论

本文通过解决客户端之间的特征差异和聚合偏差问题，应对了联邦学习中的领域偏斜问题。在特征提取层面，我们提出了DONet，它利用跨客户端信息来增强模型泛化能力；在参数聚合层面，我们设计了一种公平意识强的联邦策略，该策略估计每个客户的贡献并调整全局聚合，从而激励更广泛的客户参与。

未引用的参考文献

缺少参考文献表8和表11

CRediT作者贡献声明

钱毅：撰写——原始草稿、验证、监督、方法论。 潘西鹏：撰写——审阅与编辑、调查、概念化。 余航：撰写——审阅与编辑、监督、形式分析。 文一民：验证、监督、资源管理、项目协调、数据整理。 边新军：验证、形式分析。

利益冲突声明

所有作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本工作部分得到了国家自然科学基金（编号62366011）、广西壮族自治区自然科学基金（2024GXNSFDA010066和2024GXNSFFA010014）的支持。