SCULPT：基于语义理解的因果提示调优技术，用于检测分布范围外的全幅切片图像

《Knowledge-Based Systems》：SCULPT: Semantic-aware Causal Prompt Tuning for Out-of-Distribution Detection of Whole Slide Images

语义混淆和空间异质性导致传统WSI OOD检测方法失效，SCULPT通过前向门因果推断和双提示调优机制，构建可解释的语义对齐与因果路径，实现跨尺度肿瘤模式识别与鲁棒OOD检测。

　　

孙鹏忠|李向宇|梁东|刘俊|朱展石|李晓坤|董素玉|罗恭宁|王伟|王宽全|李硕

哈尔滨工业大学计算学院，中国黑龙江省哈尔滨市

摘要

在全切片图像（WSI）分析中，分布外（OOD）检测面临着重大挑战，这主要是由于癌症进展模式的语义模糊性。传统的WSI分析方法基于封闭世界假设，常常无法有效识别OOD样本，可能在临床环境中导致关键错误。在这项研究中，我们提出了语义感知的因果提示调整（SCULPT）框架，该框架通过前门调整利用因果推理来解决WSI OOD检测问题。SCULPT使用可学习的因果提示作为中介变量，以建立WSI输入和分类输出之间的明确因果路径，从而减轻组织模糊性的影响。该框架包括两个关键组成部分：语义感知的提示对比学习（SPCL），通过多尺度语义对齐实现稳健的组织原型发现；以及自适应因果提示调整（ACPT），通过并行超事实和反事实提示调整实现一致且具有代表性的原型学习。在真实世界数据集上的实验结果表明，SCULPT在WOOD检测方面取得了最先进的性能，并通过补丁级别的OOD映射和切片级别的置信度分数提供了可解释的预测。此外，SCULPT在分布内分类任务中也提高了性能和可解释性，代表了临床应用中可靠和安全WSI分析的重大进展。

引言

分布外（OOD）样本在全切片图像（WSI）分析中构成了一个关键挑战，特别是对于那些与训练数据存在语义差异的罕见癌症WSI[1]、[2]。现有的WSI分析模型通常基于封闭世界假设，即测试数据应与训练数据独立同分布（i.i.d.）[3]、[4]、[5]，这些数据被称为分布内（ID）数据。然而，在临床环境中，i.i.d.假设很少成立，未被检测到的OOD样本可能导致关键的诊断错误和治疗建议，从而危及患者安全[6]、[7]。因此，开发稳健的OOD检测方法对于确保临床实践中可靠的WSI分析至关重要。

然而，全切片图像的分布外（WOOD）检测本质上具有挑战性，因为这与癌症进展相关的语义模糊性有关[8]、[9]，如图1所示的乳腺癌WSI所证明的。这一挑战主要体现在两个方面：（1）形态组织细微性表现为从正常组织和癌前病变（均为ID）逐渐进展到浸润性癌症（OOD）[10]。这些细微的形态变化导致不同类别在特征空间中聚集在一起，从而导致OOD补丁经常被错误分类为ID，产生危险的假阴性预测。（2）空间组织变异性表现为OOD切片的异质组成，同一切片中同时存在ID和OOD类别的补丁。空间上的混合使得OOD补丁的独特特征被主导的正常组织模式所掩盖[11]，阻碍了可靠的检测。

为了解决WOOD检测问题，我们采用了全面的因果视角来辨别和管理因果和非因果因素。这些因素之间的复杂关系通过结构因果模型（SCM）[12]得到阐明，如图2所示。具体来说，WSI中的组织原型是ID分类和WOOD检测的因果因素。这些原型在补丁级别编码了特定类别的语义，决定了WSI是ID还是OOD。相比之下，形态组织细微性和空间组织变异性引起的语义模糊性作为混杂因素，引入了误导现有WOOD检测方法的虚假相关性[2]。另一方面，图2（b）中显示的组织原型（Z）不受混杂因素的影响，在前门标准下作为中介变量[12]。这使得通过从X到Z和从Z到Y的顺序建模，能够准确估计X和Y之间的因果效应。然而，由于细粒度注释的限制，识别千兆像素WSI的精确组织原型仍然具有挑战性。

基于这些见解，我们采用提示调整作为在弱监督约束下学习组织原型的有效方法。与需要架构修改或补丁级别注释的传统方法不同，提示调整能够在保留稳健的预训练特征的同时，通过可优化的连续向量学习特定类别的组织表示[13]、[14]。关键的是，这些可学习的提示作为我们因果框架中实施前门调整的理想中介变量，仅通过切片级别的监督就能实现补丁级别的语义理解。此外，这种方法独特地解决了WOOD检测问题，无需大量注释即可发现具有区分性的组织原型，同时建立了对形态模糊性具有鲁棒性的明确因果路径。

我们提出了语义感知的因果提示调整（SCULPT）框架，该框架利用因果推理来解决WOOD检测问题。SCULPT通过前门调整有效管理WSI分析中的因果和非因果因素。其核心是使用可学习的因果提示作为中介变量，建立WSI输入和分类输出之间的明确因果路径，同时减轻组织模糊性的混杂效应。SCULPT框架由两个主要组成部分构成，共同实现前门调整。首先，语义感知的提示对比学习（SPCL）通过多尺度语义对齐有效发现稳健的组织原型，并通过语义分散保持适当的类别内和类别间关系。其次，自适应因果提示调整（ACPT）通过并行超事实和反事实提示调整有效提高因果提示的一致性和代表性。SCULPT学习到的因果提示最终实现了基于因果的WOOD检测，提供了补丁级别的OOD映射和切片级别的置信度分数，以实现可靠且可解释的预测。具体来说，我们对这项研究的贡献总结如下：

• •
  SCULPT首次将前门调整引入WOOD检测，利用可学习的因果提示作为中介变量，建立明确的因果路径，从而减轻组织模糊性的混杂效应。
• •
  SPCL通过语义对齐和分散，实现了稳健的组织原型发现，成功捕捉了具有区分性的组织模式，同时保持了适当的类别内和类别间关系。
• •
  ACPT通过并行超事实和反事实提示调整，实现了一致且具有代表性的原型学习，有效确保了WSI分析的可靠因果效应估计。
• •
  在真实世界数据集上的实验结果表明，我们的方法在WOOD检测方面取得了最先进的性能，并且具有高可解释性。此外，SCULPT在ID分类任务中也提高了性能和可解释性。

部分摘录

分布外检测

分布外检测对于确保机器学习系统的可靠性和安全性至关重要，尤其是在计算病理学等敏感应用中[6]、[7]。现有方法大致可以分为三类：基于不确定性量化（UQ）的方法、事后方法和基于异常值暴露（OE）的方法。虽然基于OE的方法在训练期间利用辅助异常值数据集来提高OOD检测[15]，但我们专注于基于UQ和事后方法

方法

在本节中，我们首先正式定义了WOOD检测问题，并介绍了用于弱监督WSI分析的多实例学习框架（第3.1节）。随后，我们提出了一个结构因果模型，该模型将组织模糊性识别为关键混杂因素，并通过前门调整证明了使用组织原型作为中介变量的合理性（第3.2节）。在此基础上，我们提出了SCULPT框架，通过

WOOD检测数据集

我们在三个涵盖不同解剖学领域和OOD复杂性的WOOD检测数据集上评估了SCULPT的性能。表1列出了这些数据集的关键特征。

BRACS。 该数据集来自BRACS数据集[53]，包含547张H&E染色的乳腺癌WSI，涵盖七种癌变亚型。我们将这些数据分为两个ID类别：非癌性（正常、病理良性、普通导管增生）和癌前病变（扁平上皮异型、非典型导管

比较研究

我们在三个WOOD检测数据集上进行了全面实验，以评估SCULPT与最先进方法的性能。表2、表3和表4分别列出了BRACS、BRACS7和PANDA数据集的详细结果。

讨论

我们提出了SCULPT，这是第一个基于因果推理的WOOD检测框架，展示了计算病理学方面的重大方法论和实践进步。我们在三个不同数据集上的全面评估验证了核心研究假设，即前门调整可以有效减轻WOOD检测中组织模糊性的混杂效应。SCULPT在各种病理背景下均取得了最先进的性能，AUROC

结论

我们提出了SCULPT，这是一个开创性的框架，通过因果推理成功解决了WOOD检测问题。通过引入前门调整并利用可学习的因果提示，SCULPT有效管理了WSI分析中的因果和非因果因素，克服了传统方法在处理语义模糊性方面的局限性。该框架的两个主要组成部分SPCL和ACPT协同工作，发现了稳健的组织原型并建立了

CRediT作者贡献声明

孙鹏忠：撰写 – 审稿与编辑、撰写 – 原始草稿、可视化、验证、软件、方法论、调查、正式分析、数据管理、概念化。李向宇：撰写 – 审稿与编辑、可视化、监督、概念化。梁东：撰写 – 审稿与编辑、可视化、验证。刘俊：撰写 – 审稿与编辑、可视化、验证。朱展石：可视化、正式分析。李晓坤：撰写 – 审稿与编辑

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了中国国家自然科学基金（项目编号62272135和62372135）、中国博士后科学基金会博士后奖学金计划（项目编号GZC20242214）、黑龙江省自然科学基金（项目编号LH2024F019）、黑龙江省博士后科学基金会（项目编号LBH-Z24013）以及黑龙江省重点研发计划的支持