《Pattern Recognition》：Federated Semi-supervised Medical Image Segmentation with Temporal Fluctuation Aggregation and Pseudo-label Relation Mining
编辑推荐：
本文提出FedTERM联邦半监督医学图像分割框架，通过跨客户端伪标签生成机制CPL整合多源特征知识，结合邻居结构熵损失NSEL增强语义一致性，并采用基于时序波动的动态加权策略TFWU优化全局模型收敛。实验在三个医学影像数据集上取得DSC分别为81.23%、77.28%和72.54%，显著优于现有方法。
Junchang Kuang|Xinjun Bian|Siyang Feng|Shufang Pei|Zhenbing Liu|Rushi Lan|Xipeng Pan
桂林电子科技大学计算机科学与信息安全学院，中国广西桂林，541004
摘要
在联邦半监督医学图像分割中，一个关键挑战是如何在确保数据隐私的同时充分利用未标记数据进行训练。大多数现有的联邦半监督方法侧重于伪标签生成和正则化，但往往忽视了语义关系。同时，现有的联邦聚合策略未能有效解决局部更新不一致的问题，这可能会进一步放大数据异质性的影响。为了解决这些问题，我们提出了FedTERM，这是一个新颖的联邦半监督医学图像分割框架，通过在特征空间构建跨客户端伪标签来模拟客户端间的语义关系，从而提高伪标签的可靠性。此外，我们引入了邻域结构熵损失来提高语义一致性。该损失衡量了跨客户端伪标签与全局模型预测之间的差异。此外，我们提出了一种基于时间波动的动态加权策略，根据客户端在本地验证集上的实时性能波动自适应地调整每个客户的贡献，从而增强全局模型在异构环境中的稳定性。广泛的实验结果表明，FedTERM在三种不同医学成像模态的数据集上实现了最先进的分割性能。
引言
医学图像分割在临床应用中起着至关重要的作用，为疾病诊断和治疗评估提供了强有力的支持[1]。然而，随着医学数据隐私问题的日益突出，传统的集中式数据共享方法面临严重的数据泄露和隐私侵犯风险。作为一种保护隐私的协作建模框架，联邦学习（FL）逐渐在医学图像分析领域引起了广泛关注[2]。这种范式使多个医疗机构能够在不共享原始数据的情况下共同训练一个统一的全局模型[3]。在这个过程中，每个客户端保留自己的私有数据进行本地模型训练，而只有模型参数而不是原始数据在客户端和中央服务器之间交换。尽管联邦学习在医学图像分析领域取得了显著进展，但大多数研究[4]假设每个客户端的数据都是完全标记的，这在实际应用中存在局限性，因为许多医疗机构无法提供大量带注释的数据。相比之下，未标记的数据更容易收集。为了充分利用这些资源，半监督学习逐渐被纳入联邦学习框架，从而产生了联邦半监督学习（FSSL）[5]。这种范式结合了FL的保护隐私的优势和半监督学习的标签效率和泛化能力。考虑到不同的应用场景和数据分布模式，现有研究通常根据客户端和服务器之间的数据分布将FSSL分为三种代表性类型[6]。首先，一些客户端有标记数据，而其他客户端只有未标记数据。其次，每个客户端同时包含标记数据和未标记数据。第三，客户端只有未标记数据，而服务器保留标记数据集。在这项研究中，我们关注最常见的第一种情况。尽管FSSL具有巨大潜力，但它仍然面临几个关键挑战。一方面，客户端之间的数据异质性普遍存在，这不仅可能阻碍全局模型的收敛，还可能导致对某些客户端数据分布的偏见。以甲状腺数据集为例，如图1（a）所示，四个客户端的数据涵盖了不同分辨率和亮度的图像，而图1（b）基于亮度和分辨率绘制了一个小提琴图，直观地展示了不同客户端之间的异质性。
另一方面，标记数据和未标记数据通常分布在不同的客户端上，这使得在确保数据隐私的同时有效利用监督信息和未标记数据进行训练变得困难。传统方法[7]、[8]通常依赖于伪标签生成和一致性正则化，使用客户端本地可用的未标记数据来指导模型训练。由于标签质量有限且可能存在噪声，全局模型在训练过程中仍可能受到影响。为了解决这个问题，一些方法[9]提出了动态伪标签优化策略，其中客户端不仅生成初始伪标签，还通过多轮迭代来改进其质量，例如通过引入验证集或基于置信度的评估来纠正标签。然而，这些方法仍然难以有效减轻伪标签噪声，通常依赖于单个客户的更新，使得跨客户端的协作利用变得具有挑战性。
此外，由于客户端之间的数据异质性，传统的联邦学习聚合方法[2]往往无法有效解决数据分布的差异，这可能导致全局模型收敛困难或对某些客户端数据分布产生偏见。为了解决这个问题，一些方法[8]、[10]提出了基于客户端性能或数据质量的加权聚合策略，动态调整每个客户端对全局模型的贡献。然而，这些方法在数据分布高度不平衡的情况下仍然面临挑战。确保聚合策略在保持全局模型稳定性的同时增强其泛化能力仍然是一个需要解决的核心问题。
在这项工作中，我们提出了一个FSSL框架FedTERM，它结合了时间波动聚合和双重伪标签挖掘。首先，我们提出了一种跨客户端伪标签机制（CPL）。与依赖单个客户端本地信息的现有FSSL方法不同，我们的方法通过共享客户端之间的代表性簇中心来引入跨客户端特征知识。具体来说，它通过将本地样本特征与其他客户端派生的聚合中心进行匹配，为未标记客户端生成更可靠的伪标签。这种设计有效减轻了由数据异质性引起的伪标签偏差和噪声，从而提供了更强大的监督信号。其次，我们提出了一种基于邻域结构熵损失（NSEL）的像素级伪标签挖掘方法，该方法通过降低局部熵来抑制噪声并提高标签一致性和空间稳定性。第三，我们提出了一种时间波动权重更新（TFWU）策略。与依赖单轮客户端性能或数据质量的现有动态聚合方法不同，TFWU描述了通信轮次中客户端模型更新的变化趋势和稳定性。基于这种时间评估，它在聚合过程中自适应地调整每个客户的贡献。这种机制有效抑制了由不稳定性或噪声主导的更新，使全局模型能够在高度异构的数据环境中保持更稳定的优化并实现更好的泛化性能。本工作的主要贡献如下：
•我们提出了一种基于客户端性能时间波动的自适应聚合机制，动态调整由数据异质性引起的更新方向偏差，显著提高了全局模型的稳定性和收敛速度
•我们引入了两种互补的伪标签优化策略：CPL优化和基于NSEL的鲁棒性约束。这些策略从语义一致性和结构感知的角度提高了伪监督信号的可靠性和区分能力。
•我们在前列腺MRI、甲状腺超声和结直肠癌病理图像分割任务上验证了我们的方法，分别取得了81.23%、77.28%和72.54%的DSC分数。结果表明，我们的框架不仅具有出色的分割性能，还具有很强的可扩展性和鲁棒性。
部分摘录
半监督医学图像分割
半监督学习作为一种强大的范式，有助于减轻对大规模标注数据集的依赖。这一优势在医学图像分割中尤为重要，因为高质量的标注通常稀缺且成本高昂。最近的研究探索了各种半监督学习策略，以有效利用未标记数据。Su等人[11]提出了一个用于半监督医学图像分割的互学习框架，其中两个子网络
方法
我们提出了一个新颖的联邦半监督医学图像分割框架（FedTERM）。我们的FedTERM流程如图2所示。
实验
我们在前列腺数据集、甲状腺数据集和结直肠癌组织病理数据集上评估了我们的方法，随后进行了全面的消融研究以进一步分析其有效性。
模块兼容性讨论
为了全面验证我们提出的CPL的兼容性和有效性，我们将其集成到了六个代表性的医学图像分割联邦学习（FL）框架中（FedAvg [31]、FedPro [33]、FedMix [21]、RSCFed [32]、FedDUS [10] 和 FedSLAG [16]）。如图8所示，集成CPL模块在所有框架中都带来了显著的性能提升。这种提升主要归因于CPL利用跨客户端语义关系的能力
结论
总之，我们提出了一种新颖的联邦半监督医学图像分割方法FedTERM。该方法利用CPL机制充分整合了多个客户端的信息，显著提高了伪标签的可靠性和一致性。为了进一步提高伪标签的准确性，我们引入了NSEL来加强局部结构一致性并抑制噪声，从而优化伪标签并提高分割性能。此外，我们设计了TFWU
CRediT作者贡献声明
Junchang Kuang：撰写 – 审稿与编辑，撰写 – 原稿，可视化，验证，方法论，概念化。Xinjun Bian：撰写 – 审稿与编辑，验证，监督。Siyang Feng：撰写 – 审稿与编辑，验证，监督。Shufang Pei：资源，形式分析，数据管理。Zhenbing Liu：资金获取，形式分析。Rushi Lan：监督，资金获取，形式分析。Xipeng Pan：撰写 – 审稿与编辑，监督，
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
这项工作部分由中国国家自然科学基金（编号82360356、T2541065、82272075和82302190）和广西自然科学基金（编号2024GXNSFFA010014和AB25069496）资助。
