优先级扫描：结合空间信息和多实例学习方法在计算病理学中的应用

《Pattern Recognition》：Prioritized Scanning: Combining Spatial Information Multiple Instance Learning for Computational Pathology

提升病理切片图像分析精度的空间优先扫描多实例学习方法研究，通过结构状态空间模型同时建模局部空间关系和跨空间相似性，在五个数据集三个下游任务中显著优于现有方法，最高准确率提升5.26%。

　　

张玉琪|王家凯|梁宝玉|杨元成|吴思阳|童超

北京航空航天大学计算机科学与工程学院，北京 100191，中国

摘要

多实例学习（MIL）作为一种可靠的范式，推动了计算病理学（CPath）与临床组织病理学的结合。然而，尽管取得了显著进展，现有的MIL方法仍面临挑战，这主要是由于原始全切片图像（WSIs）的混乱导致空间信息表示不足。为了解决这一限制，我们首先展示了在结构化状态空间模型（SSM）中优先扫描的重要性。我们提出了一个结合空间信息的MIL框架，称为优先扫描MIL（PSMIL）。PSMIL主要包含两个分支和一个融合模块。第一个分支称为空间分支，它利用原始的2D位置将潜在的空间信息纳入补丁序列，并使用SSM来建模WSI的空间特征。第二个分支称为跨空间分支，它利用重要性评分模块和SSM来利用不同空间位置相似实例之间的特征关系。最后，一个轻量级的特征融合模块整合了两个分支的输出，从而实现了更全面的特征利用。在5个流行数据集和3个下游任务上的广泛实验表明，PSMIL显著优于现有的MIL方法，癌症亚型分类的准确率提高了多达5.26%。我们的代码可在以下链接获取：https://github.com/YuqiZhang-Buaa/PSMIL。

引言

全切片图像（WSIs）的分析是现代计算病理学（CPath）的基石[1]、[2]、[3]。这些超高分辨率的图像捕获了整个组织切片，并为下游应用提供了关键信息，包括癌症检测、亚型分类和结果预测。尽管具有潜力，但由于WSIs的千兆像素规模和复杂的组织结构[4]、[5]，它们在大规模注释和模型训练方面存在重大障碍。为了缓解这些困难，研究人员越来越多地采用多实例学习（MIL），将WSI分析重新定义为弱监督问题[6]、[7]。在这个框架中，WSI（“袋”）被划分为许多较小的补丁（“实例”），学习过程由切片级别的标签指导，从而无需详尽的像素级注释即可有效开发模型。

尽管传统的MIL方法在各种CPath任务中取得了显著的性能，但它们在充分利用空间信息方面存在局限性，因为它们忽略了WSIs的不规则形态和组织空洞的存在。如图1-b所示，这些方法通常使用卷积技术在近似的空间排列上推导WSI补丁的位置关系，这种策略仅在病理组织呈现高度规则形状（例如正方形）时有效。实际上，病理组织通常是分散分布的，可以呈现任意形状，包括局部空腔，如附录A所示。此外，在临床实践中，病理学家在做出诊断决策时会考虑单个区域周围的局部环境以及不同区域之间的相关性。因此，在MIL中结合补丁之间的空间信息是合乎逻辑且必不可少的。

解决这个问题的一个直观方法是使用位置嵌入，这在长序列建模中很常见[8]、[9]。然而，传统的基于Transformer的方法会产生显著的计算开销。最近，结构化状态空间模型（SSM）[10]、[11]、[12]作为有效的架构被引入，以克服MIL中长序列建模的瓶颈，实现了线性复杂度而不牺牲全局感受野。尽管一些研究[13]、[14]、[15]注意到了序列排序对特征利用的影响，但现有的基于SSM的MIL方法仍然无法同时建模相邻组织补丁之间的局部空间关系和组织病理学模式的全球跨空间相似性，从而在充分利用WSIs的空间信息方面存在关键差距。

为了解决这些挑战，我们提出了一个名为优先扫描（PSMIL）的新MIL框架。我们展示了在CPath中优先扫描对于基于SSM的方法的重要性。受临床实践的启发，病理学家依赖于局部组织背景和分布相似的区域（如肿瘤灶），PSMIL主要包含两个分支。第一个分支使用原始的二维位置重新排序补丁序列，从而将隐式的空间信息纳入补丁顺序。然后应用SSM来建模WSI的空间特征。第二个分支根据从重要性评分网络获得的全局实例分数重新排序补丁序列。随后，使用SSM捕获不同空间位置相似实例之间的特征，产生补充空间特征的全局跨空间特征。最后，使用一个轻量级的特征融合模块整合两个分支的特征，实现更全面的特征利用。我们的贡献可以总结如下：

•

我们提供了理论分析和实验证据，以证明在基于SSM的CPath方法中优先扫描的重要性。

•

我们提出了一个MIL框架，结合了WSIs的空间位置关系和不同空间位置相似实例的特征利用。

•

我们在三个下游任务上进行了广泛的实验，使用了五个数据集，与现有方法相比，在所有指标上都取得了改进。

章节片段

CPath中的多实例学习

多实例学习的引入显著推动了计算病理学的发展，因为它提供了一种有效的解决方案，可以在不需要详尽的像素级注释的情况下对千兆像素全切片图像进行模型训练。传统的CPath监督学习框架受到注释瓶颈的困扰：虽然可以从病理报告中轻松获得切片级别的诊断标签，但划分区域或细胞级别的注释非常困难

MIL的假设

在MIL中，给定的WSI X_i被视为一个“袋”，由于其极高的分辨率，它被划分为一个长的实例序列$X_i=\{x_1,x_2,x_3,,x_L\}$，其中L表示实例的数量。L的值因不同的“袋”而异。对于分类任务，虽然每个“袋”的标签Y_i是已知的，但所有实例x_j的标签y_j是未知的。如果“袋”中至少有一个实例被分类为阳性，则整个“袋”被视为阳性。相反，如果所有实例都被分类为阴性

数据集

我们使用BRACS [30]、TCGA-NSCLC [31]和Camelyon-16 [32]来评估癌症诊断和亚型分类任务的性能。对于预后，我们使用TCGA-LUAD和TCGA-LUSC来评估生存预测任务的性能。在比较结果和消融研究中，我们主要展示TCGA-NSCLC数据集的结果，因为它是最大且使用最广泛的数据集。所有数据集的详细信息见表1。每个数据集包含不同大小的全切片图像（WSIs）。

BRACS是一个全切片图像数据集

结论

总之，通过利用WSI序列的空间特征和跨空间相似实例的特征，PSMIL在处理大规模和异构WSIs方面表现出色。与之前的方法相比，跨不同任务的评估突显了其更高的准确性和泛化能力。我们的贡献不仅改进了WSI分析，还为未来的研究提供了宝贵的见解。尽管PSMIL具有优势，但它仍然存在局限性。

CRediT作者贡献声明

张玉琪：撰写——原始草稿，可视化，方法论。王家凯：形式分析，概念化。梁宝玉：方法论，数据管理。杨元成：验证，方法论。吴思阳：撰写——原始草稿，调查。童超：监督，项目管理。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本研究部分得到了中国国家自然科学基金（62572033, 62176016, 72274127）、中国国家重点研发计划（编号2021YF B2104800）、贵州省科技项目：智能医疗治疗中的问答交互式虚拟数字人研究（由Qiankehe[2024] General 058支持）、首都健康发展研究项目（2022-2-2013）以及北京海淀创新与转化项目的支持