基于深度学习的阳性区域分割与虚拟多重免疫组化全切片图像的空间配准

《Laboratory Investigation》：Deep Learning–Based Positive Region Segmentation and Spatial Registration of Virtual Multiplex Immunohistochemical Whole-Slide Images

　　

史 Xiafei | 王 Liuna | 胡 Dian | 宋 Lijun | 王 Huiquan | 王 Jinhai | 尹 Huijuan

天津天宫大学生命科学学院，中国天津 300387

摘要

目的

本研究旨在通过建立基于深度学习的分析框架，实现对多个免疫组化（IHC）图像中阳性区域的精确识别和空间重建，从而促进虚拟多重检测技术的发展。

材料与方法

使用ImageJ软件对来自80个小鼠肿瘤的22张HE染色的全切片图像（WSI）和86张单指标IHC WSI进行了标准化处理，同时还使用了MIHIC数据库中的50张Ki67染色图像以及Senaras2018DeepFocus数据集中的100张图像。通过图像裁剪和阳性区域标注，创建了一个包含四个指标（Ki-67、TUNEL、TNF-α、ICAM-1）的标注数据集，这些数据集分别以三种分辨率（512×512、256×256、128×128）呈现。在U-Net架构中整合了基于金字塔的多尺度机制（Pyramid U-Net），以实现多个IHC图像的有效语义分割。结合了SuperPoint特征提取算法、SuperGlue匹配算法和RANSAC算法，实现了虚拟多重IHC的高精度配准。此外，还整合了DINO-ViTS16-WSI算法，将IHC阳性区域映射到HE图像上进行重建和定量分析。

结果

结论

本研究描述了一个深度学习框架，能够实现对多个IHC标志物的精确分割、配准和空间重建，为通过综合多参数空间分析进行肿瘤微环境分析和个性化治疗提供了关键技术支持。

引言

癌症仍然是全球最普遍和致命的疾病之一，给公共卫生系统带来了巨大的经济负担^{1, 2, 3}。随着精准医学的进步，肿瘤的诊断和治疗越来越依赖于分子水平的特征描述⁴。病理诊断作为肿瘤评估的“金标准”，主要依赖于免疫组化（IHC）来检测特定蛋白质的表达⁵。虽然免疫荧光（IF）和多重IHC（mIHC）能够实现多重指标的检测，但其临床应用受到IF高成本和光漂白风险的限制，以及mIHC本身的技术限制，如抗体交叉反应、复杂的多轮染色程序以及对组织损伤或抗原丢失的敏感性^{6, 7}。传统的IHC染色虽然更具成本效益且适用于常规肿瘤诊断，但由于显色系统的光谱重叠，同时检测多个指标变得具有挑战性⁸。鉴于肿瘤微环境（TME）的复杂性，包括免疫调节和侵袭等协调过程，单一指标的分析无法全面反映肿瘤生物学特性，因此需要先进的多重技术⁹。

数字病理学和人工智能（AI）的最新进展为多重IHC分析开辟了新的途径^{10, 11}。组织切片的组织病理学全切片图像（WSI）通过高分辨率数字化（通常为0.25 μm/像素）保留了完整的形态特征和组织细节，迄今为止在组织成像领域得到了广泛分析^{12, 13}。这一突破为AI驱动的精准病理学提供了坚实的基础，特别是在TME的空间量化方面¹⁴。虚拟多重IHC通过利用数字病理学技术克服了多重IHC的局限性，通过对标记有不同生物标志物的连续WSI进行计算分析来实现多个指标的重建，从而扩展了多重检测能力。为了全面分析TME，迫切需要开发能够对苏木精和伊红（HE）染色的WSI与连续IHC WSI进行空间约束共配准的计算框架，以实现组织表型和分子机制的整合¹⁵Sillem等人开发的双模整合评分系统通过高精度连续切片配准（层间分辨率为5μm），成功将有丝分裂活性指标（PHH3+）定位到HE染色定义的肿瘤亚区域，建立了第一个基于空间异质性的增殖动力指数¹⁶Boutros等人的多尺度免疫拓扑分析框架¹⁷利用亚细胞级配准技术（误差< 2μm），实现了CD8+ T细胞空间分布与HE组织结构之间的首次三维相关性分析。Mousumi等人开发的CGNReg深度学习网络¹⁵通过增强CycleGAN实现了从HE到IHC的图像转换，并采用了多尺度FCN进行精确配准。其在整合HE和IHC指标（如Ki67/PHH3）方面的有效性在76例乳腺癌病例中得到了验证（DSC 0.9612，NCC 0.8175），为三维病理分析提供了新的工具。IHC和HE的整合分析已成为TME研究中不可或缺的技术途径，为精准医学时代的个性化治疗策略制定提供了新的分析维度。

然而，这种基于超高分辨率WSI（通常每张图像超过10 GB）的数字重建方法对计算能力要求很高¹⁸，并且需要通用算法来准确高效地分割多个阳性区域。此外，由于相邻组织切片之间的复杂组织结构变化以及不同染色方式导致的显著组织形态差异，要在多个WSI配准中达到一定的精度水平在技术上具有挑战性¹⁵。尽管现有的3D组织重建策略表现出良好的性能，但这些方法通常依赖于块面图像作为必要的真实参考，并且仅限于处理相对低分辨率的图像堆栈¹⁹。这些技术瓶颈阻碍了多重分析在临床中的应用，并限制了对TME内复杂相互作用的系统探索。

为了解决这些挑战，本研究提出了一个创新的虚拟多重IHC分析框架，如图1所示，该框架通过数字共配准连续的单指标染色切片实现了多重检测。通过将金字塔多尺度²⁰输入机制整合到U-Net架构²¹中，我们克服了传统单尺度处理在处理不同大小区域（例如，点状Ki-67表达与区域性TUNEL表达）时的局限性，显著提高了分割性能，同时保持了准确性。在图像配准方面，我们采用了先进的SuperPoint特征提取²²和SuperGlue匹配²³算法，并结合了RANSAC鲁棒估计，从而实现了像素级别的对齐，确保了具有不同染色协议的连续切片之间的空间一致性。通过对多个阳性区域进行重建和定量分析，我们建立了一个全面的多参数表达谱，实现了多种IHC标志物（Ki-67、TUNEL、ICAM-1和TNF-α）与相应HE染色切片的空间共映射。量化的表达结果为TME研究提供了重要的数据支持。这一综合技术框架不仅克服了传统单一指标检测的局限性，还为临床精准医学提供了一种可扩展的策略，具有扩展到其他免疫治疗生物标志物（如PD-L1和肿瘤浸润淋巴细胞（TILs）的潜力。通过揭示TME内的复杂相互作用并指导个性化治疗策略，这一策略将为癌症研究和治疗开辟新的途径。

章节片段

切片染色和全切片图像获取

实验获得了天津动物伦理委员会（SYXK(JIN）的批准（SYXK(JIN):2019-0002）。我们的实验室制备了80份来自携带人类胃癌细胞MGC-803（上海中桥新洲生物技术）的肿瘤小鼠的福尔马林固定石蜡包埋（FFPE）标本，这些标本被平均分为对照组和不同的光动力疗法（PDT）组²⁴。使用HE和不同的IHC染色试剂盒对5微米厚的切片进行了染色，包括Click-iT TUNEL比色IHC检测试剂盒

用于虚拟多重检测的连续单指标IHC染色结果

我们准备了22张HE染色的WSI和86张连续单指标IHC WSI用于虚拟多重检测。图3展示了每个指标的原始WSI示意图以及之后构建的多尺度图像数据集。该图全面说明了HE染色的WSI及其应用，以及从裁剪小尺寸IHC-WSI到生成增强数据集的完整工作流程。它还显示了最终图像数量的统计结果

讨论

本研究建立的虚拟多重IHC分析框架设计得非常稳健、可靠，并且易于适应未来临床研究的需求。我们开发了这种综合分析方法，通过数字重建连续切片中不同关键蛋白质的空间分布，实现了对TME及其生物学特征的全面表征

作者贡献

史 Xiafei：撰写原始草稿、方法学设计、实验实施、正式分析。王 Liuna：正式分析、撰写原始草稿。胡 Dian：数据收集、正式分析。宋 Lijun：图像标注指导、监督和数据集质量控制。王 Huiquan：正式分析。王 Jinhai：撰写-审稿、概念化。尹 Huijuan：撰写-审稿与编辑、正式分析、概念化。

数据可用性声明

本研究生成和分析的所有数据均包含在本文中。

资助

本工作得到了国家自然科学基金（资助编号62405220）的支持。

利益冲突声明

所有作者声明，本研究是在没有任何可能被视为潜在利益冲突的商业或财务关系的情况下进行的。

伦理批准和参与同意

实验获得了天津动物伦理委员会（SYXK(JIN）的批准（SYXK(JIN):2019-0002）。

未引用的参考文献

39.; 40.; 39.; 40..