基于弱监督到强监督泛化的多头注意力掩码区域卷积神经网络全自动训练方法，用于多重全切片脑图像中密集重叠细胞核的精确分割

《Frontiers in Bioinformatics》：Weak-to-strong generalization enables fully automated training of multi-head mask-RCNN model for segmenting densely overlapping cell nuclei in multiplex whole-slice brain images

　　

摘要 研究人员提出了一种弱监督到强监督泛化的方法，用于全自动训练一种结合高效通道注意力机制的多头扩展掩码区域卷积神经网络，以实现对多重环状免疫荧光全切片图像中重叠细胞核的可靠分割，并提供了支撑弱监督到强监督泛化的关键现象——伪标签校正和覆盖范围扩展——的证据。此方法旨在实现多重空间蛋白质组学成像数据的领域自适应，从而无需在目标领域进行额外的人工标注。研究人员还提出了一套用于生产环境中自动自诊断分割质量的评估指标，在这种环境中，对大尺度全切片图像进行人工视觉校对成本过高。该方法在五个当前广泛使用的方法上进行了基准测试，并显示出显著的改进。代码、示例全切片图像和高分辨率分割结果已公开提供，以供社区采用和适配。

一、 研究背景、问题与目的

多重免疫荧光成像技术已广泛应用于临床前科学和药物发现中，用于对组织切片样本进行深入的细胞表征。这些系统生成庞大的、高达数十GB的多通道全切片图像，其中包含数十万甚至更多的细胞，需要以最大可能且可扩展的自动化程度进行精确分析。细胞核的可靠检测与精确分割，是实现基于细胞的分子标记物定量分析关键而富有挑战性的第一步。在空间分辨的组织分析中，精确计算分割单个细胞至关重要。与解离方法不同，原位成像需要从密集堆积且经常重叠的相邻细胞中勾勒出单个细胞。此关键步骤的误差会直接传递到下游分析中：不精确的边界会导致信号溢出，扭曲分子表达谱，从而导致错误的细胞类型分类和有偏差的空间量化。在全切片图像包含数百万个细胞的尺度上，即使微小的分割不准确性也会导致显著的累积误差，削弱分析完整性，并需要进行大量的人工校对。

尽管深度神经网络和基于海量人工标注数据训练的基础模型的应用推动了细胞核分割领域的近期进展，但这些方法仍然需要大量的人力标注工作。基础模型需要巨大的初始标注工作来训练，并且需要额外的标注工作来使模型适应新类别的图像。现有方法仍存在若干问题：例如，在较厚的样本中正确处理重叠细胞核的问题仍未解决；其次，基础模型通常是在三通道图像上训练的，因此无法利用多重全切片图像中可用的线索，这是一个被错失的机会；最后，自动生成的分割结果的准确性评估问题仍然需要大量人工努力。在生产环境中，对大尺度全切片图像进行人工校对既不经济也不可扩展，因此迫切需要自动化的评估方法。

针对上述挑战，本研究旨在开发一种基于弱监督到强监督泛化的、完全自动化的集成方法，以克服上述限制，并提供自动化的分割质量评估指标，实现在无额外人工标注需求下的、高性能的多重全切片图像细胞核分割。

二、 关键技术方法概述

本研究提出的核心技术路线是一个端到端的弱监督到强监督学习框架，用于在无人工标注的条件下，自动训练一个强大的学生模型。主要技术步骤包括：

1. 1.
   弱教师模型伪标签生成：使用分割一切模型作为弱教师模型，输入DAPI和全组蛋白双通道图像块，通过自动生成的网格化点提示，生成初始的细胞核分割掩码作为伪标签。
2. 2.
   自动化的伪标签清洗：设计基于规则的自动化清洗步骤，去除由弱教师模型产生的错误掩码，包括并集掩码和重复掩码，以确保伪标签质量。
3. 3.
   实例级数据增强：应用基于拷贝粘贴的增强策略，将清洗后的细胞核实例叠加到其他细胞核上，以生成大量模拟细胞重叠情况的合成样本，扩充训练数据集。
4. 4.
   强学生模型架构：提出了一个名为M³-RCNN的强学生模型，其核心是对经典Mask-RCNN架构的多头扩展。该模型针对多重图像特性进行了优化，包括：
   • •
     高效通道注意力模块：用于加权处理8-plex图像的多通道特征，以有效利用细胞类型特异性通道的信息。
     .多头掩码预测架构**：在传统整体掩码头之外，引入了专门用于预测重叠部分和互补部分的掩码头。具体而言，head_c和 head_o分别预测掩码的互补部分和重叠部分，它们的中间层特征与主干特征融合后，输入到整体掩码头head_w中进行最终预测。这种设计旨在显式地建模和处理细胞间的复杂重叠模式。
5. 5.
   损失函数设计：模型的总损失由三部分加权组成：边界框回归损失、分类损失以及针对非凹形轮廓样本的掩码分割损失。其中，掩码损失整合了来自重叠头、互补头和整体掩码头的预测。
6. 6.
   自动化分割质量评估指标：提出了两个不依赖于人工标注的自动化评估指标，用于大规模分割结果的质量自诊断：
   • •
     信号覆盖率：衡量由DAPI和全组蛋白通道确定的细胞核荧光信号总像素中，被模型生成的掩码所覆盖的比例。
   • •
     标记物纯度：在分割出的每个细胞核内，分析其细胞类型特异性蛋白标记物的表达情况。一个“纯净”的细胞核应主要表达一种细胞类型标记物。该指标量化了分割结果在单细胞水平上保持信号特异性的能力。

三、 研究结果

本研究在来自大鼠脑的50-plex数据集中的四张全切片图像上进行了实验评估，并与五种当前广泛使用的方法进行了对比。评估分为基于人工标注的监督评估和使用本研究提出的自动化指标的评估。

3.1 弱监督到强监督泛化的有效性

• •
  在监督评估指标上，本研究提出的M³-RCNN模型在数据集S1上取得了最佳的Aggregated Jaccard Index plus和Panoptic Quality分数，分别为77.3%和76.7%，显著优于StarDist、Cellpose2.0、SAM、仅使用双通道的Mask-RCNN及增加了数据增强的Mask-RCNN等基线方法。
• •
  在自动评估指标上，M³-RCNN模型在整个S1切片上实现了98.22%的信号覆盖率和99.19%的标记物纯度，表明其能够有效捕获绝大多数细胞核信号，并生成高特异性的分割结果。在其余切片上的结果也显示了其稳定的性能。

3.2 自动化质量评估指标与人工评估的一致性

• •
  通过比较自动化指标与监督指标的趋势，发现提出的覆盖率指标与监督评估结果呈现正相关。高覆盖率的模型通常也取得了较高的监督评估分数。这验证了自动化指标在实际应用中的有效性和实用性，为在生产环境中进行模型性能的无人监控提供了可能。

3.3 伪标签校正与覆盖范围扩展现象的验证

• •
  通过对训练集中100个随机选取的图块进行人工标注，并利用t-SNE对特征进行降维可视化，本研究展示了“伪标签校正”现象。即，由弱教师模型生成的、包含错误的掩码，在经过训练后，其对应的学生模型预测结果（高置信度样本）在特征空间中更接近真实标注，从而纠正了教师模型的错误。
• •
  此外，学生模型还展示出“覆盖范围扩展”的能力，能够分割出在伪标签生成阶段被教师模型忽略或低置信度排除的细胞核，进一步提升了分割的召回率。

3.4 模型关键组件的消融研究

• •
  实验结果表明，多头掩码架构和ECA模块的引入均对提升模型在处理重叠细胞核和利用多重信息方面的性能有积极作用。与基础Mask-RCNN相比，M³-RCNN在重叠密集区域的分割效果有明显改善。

四、 讨论与结论

本研究成功开发并验证了一种基于弱监督到强监督泛化的、完全自动化的训练流程，用于多重全切片图像中密集重叠细胞核的精确分割。该工作的核心贡献在于：

1. 1.
   全自动训练范式：该方法彻底消除了在目标领域对额外人工标注数据的依赖，通过利用通用基础模型作为弱教师，结合自动化的数据清洗和增强，训练出性能更强的专用学生模型，为实现生物医学图像分析工具的可扩展和低成本部署提供了新路径。
2. 2.
   针对性的模型架构：提出的M³-RCNN模型通过引入多掩码头和通道注意力机制，有效解决了现有方法在处理细胞重叠和利用多重通道信息方面的不足，显著提升了在复杂生物组织图像上的分割精度。
3. 3.
   实用的自动化评估工具：提出的信号覆盖率和标记物纯度指标，为大规模、高通量成像分析的生产环境提供了一套无需人工干预的、可量化的分割质量自我诊断方案，有助于确保下游分析的数据可靠性。

结论：本研究提出的弱监督到强监督泛化方法，实现了对多重全切片图像中重叠细胞核的、无需人工标注的全自动训练和高精度分割。通过利用SAM（Segment Anything Model）作为弱教师生成伪标签，并经过自动化清洗和实例级增强，研究人员训练出了一个扩展的多头Mask-RCNN模型，该模型集成了高效通道注意力机制。在来自大鼠脑的50-plex数据集上的实验表明，该方法在监督指标上优于当前五种广泛使用的方法。此外，研究人员还提出了用于自动化分割质量自评估的覆盖率指标，该指标在实验中被证明与监督评估结果具有良好的一致性。代码、样本图像和高分辨率分割结果已开源，旨在促进社区采用和进一步适应。这项研究为大规模空间蛋白质组学分析提供了一种可扩展且高效的细胞核分割解决方案。