MoMIL：用于计算病理学的多阶增强多实例学习方法

《Image and Vision Computing》：MoMIL: Multi-order enhanced multiple instance learning for computational pathology

针对计算病理学中多实例学习框架的结构固定和特征利用不足问题，提出MoMIL方法。通过SSD模型实现多顺序WSI切片的长序列建模，结合轻量级特征融合提升信息利用率，并设计适配不同WSI尺寸的序列变换方法。实验表明该方法在癌症亚型分类等任务中AUC最高提升0.027，且在三个下游任务五个数据集上均优于基线方法。

　　

张玉琪|张晓倩|王家凯|梁宝玉|杨远城|童超

北京航空航天大学计算机科学与工程学院，中国北京市海淀区学园路37号，100191

摘要

计算病理学（CPath）显著推动了病理学的临床实践。尽管取得了进展，但CPath中的一个有前景的范式——多实例学习（MIL）仍然面临挑战，尤其是与结构固定和信息利用不完全相关的问题。为了解决这些限制，我们提出了一个名为Multi-order MIL（MoMIL）的新MIL框架。我们的框架利用SSD模型对多阶WSI（全切片图像）进行长序列建模，并结合轻量级特征融合以实现更全面的信息利用。该框架支持更广泛特征的融合，并具有高度灵活性，可以根据具体使用需求进行扩展。此外，我们还引入了一种专门为WSI设计的序列转换方法。这种方法不仅适用于不同大小的WSI，还能捕获额外的特征表达，从而更有效地利用序列线索。大量实验表明，MoMIL在癌症亚型分类方面的性能优于现有最先进的MIL方法，AUC提高了0.027。我们在三个下游任务上使用了五个数据集进行了广泛实验，在所有性能指标上都取得了改进。代码可在以下链接获取：https://github.com/YuqiZhang-Buaa/MoMIL

引言

病理学在医学中起着至关重要的作用，通过研究疾病的性质、原因、发展和细胞效应，为疾病的诊断、治疗和预后提供科学依据。病理学的临床实践包括多种任务，如肿瘤检测、亚型分类和分期[1]、[2]、[3]。鉴于这些诊断和治疗的紧迫性，病理学家必须在有限的时间内熟练解决各种问题[4]。然而，在显微镜下（或在千兆像素图像中）仔细检查单个细胞或细胞簇以检测恶性肿瘤可能非常耗时且劳动密集，给临床实践带来了巨大负担[5]。 计算病理学（CPath）的出现为这一挑战提供了一个有前景的解决方案[6]。CPath利用先进的计算技术分析和解释数字病理学中的全切片图像（WSI），帮助病理学家诊断和预测疾病。最近，人工智能（AI）技术的整合彻底改变了CPath，深度学习显著提高了病理图像分析的自动化程度和准确性[5]、[7]。此外，扫描系统、成像技术和存储解决方案的进步使得临床环境中WSI的采集量增加，促进了CPath的发展。然而，WSI的高分辨率和大数据量使得像素级注释变得复杂且耗时[8]、[9]。为了解决这一挑战，采用了多实例学习（MIL）方法，将WSI分析视为一个弱监督学习问题[5]、[10]。 在MIL中，每个WSI被划分为许多小区域或实例，通常每个切片有数万个实例。MIL的基本假设是，如果集合中的至少一个补丁被分类为阳性，则整个WSI应被分类为阳性；相反，如果所有补丁都被分类为阴性，则WSI被视为阴性。现有的MIL范式涉及使用预训练的模型将这些补丁转换为低维特征表示，然后这些低维特征被聚合到袋级表示中以进行进一步分析。 尽管在许多计算病理学任务中取得了优异的性能，但由于涉及大量实例导致的高内存成本，传统的MIL范式面临重大的设计挑战。基于卷积神经网络（CNN）[11]、[12]、[13]和注意力机制[10]、[14]、[15]的现有框架通常具有固定的结构，这限制了它们在不同WSI数据集上的灵活性和可扩展性。 最近，结构化状态空间序列（S4）[16]、结构化状态空间（SSM，称为Mamba）[17]和状态空间对偶性（SSD，称为Mamba-2）[18]作为有效架构被引入，以解决MIL中长序列建模的瓶颈问题。它们可以在不牺牲全局感受野的情况下实现线性复杂度。然而，在充分利用特征信息方面仍存在挑战。尽管一些研究注意到了序列顺序对Mamba中特征利用的影响[19]、[20]、[21]、[22]，但仍缺乏能够充分利用特征信息并在不同大小和癌症类型的数据集上保持一致优越性能的基于Mamba的架构。 为了解决这些挑战，我们提出了一个名为Multi-order MIL（MoMIL）的新MIL框架。我们的框架利用SSD模型对多阶WSI补丁进行长序列建模，并结合轻量级特征融合以实现更全面的信息利用。该框架支持更广泛特征的融合，并具有高度灵活性，可以根据具体使用需求进行扩展。此外，我们还引入了一种专门为WSI设计的序列转换方法。这种方法不仅适用于不同大小的WSI，还能捕获额外的特征表达，从而提高序列信息的整体利用效率。我们的贡献可以总结如下：

• 我们引入了一种序列转换方法，可以在不同WSI大小下进一步提高序列信息的利用效率。
• 我们提出了一个灵活且可扩展的框架，可以根据使用需求自由调整使用的序列阶数。
• 我们在三个下游任务上使用了五个数据集进行了广泛实验，在所有性能指标上都取得了改进，优于现有最先进的方法。

部分内容

CPath中的多实例学习

临床实践严重依赖病理学家手动标注和分析病理图像。这种传统方法不仅耗时且劳动密集，还容易出错，例如由于病理图像的大小和复杂性导致漏诊[23]。最近的研究通过开发基于MIL的弱监督学习方法解决了这些问题[9]、[24]、[25]。MIL使模型能够在不需要人工标注的情况下从WSI中学习和预测病理结果。

初步：多实例学习

在多实例学习的框架中，每个全切片图像被视为一个“袋”，由于图像较大，它被划分为多个小区域，从而形成一系列实例。正式地，我们将这些实例表示为$S$