用于临床病理图像预测和解释的可解释多任务模型

《npj Systems Biology and Applications》：Interpretable multitask model for clinical pathology image prediction and interpretation

　　

摘要

基于深度学习（DL）的病理图像建模和分析方法为早期癌症诊断带来了变革潜力，然而有限的样本量和缺乏可解释性常常阻碍了这些技术的临床应用。在这里，我们提出了可解释的多任务数字病理模型（iMDPath），这是一个端到端、高度可解释的多任务深度学习框架，通过整合数据增强、诊断预测和病理图像特征的可视化来同时应对这些挑战。iMDPath包含三个模块：数据增强模块（iMDPath-Aug）、预测模块（iMDPath-Pred）和可视化模块（iMDPath-Vis）。iMDPath-Aug采用向量量化变分自编码器（VQ-VAE）进行数据增强，从而从有限的样本集中提取出关键的病理特征。iMDPath-Pred模块中的Swin Transformer-Based（Swin-B）预测器利用增强后的数据，在包括胃癌、乳腺癌、肺癌和结直肠癌在内的六个不同癌症病理数据集中，取得了比基于补丁级别或基础模型的编码器（如InceptionV3和Phikon）更好的性能。最后，iMDPath-Vis是一个创新的可视化模块，结合了全梯度（FullGrad）和遮挡敏感性分析，通过突出显示影响模型预测的具体组织区域，为病理学家提供了可操作的洞察。总体而言，iMDPath不仅在诊断准确性、灵敏度和泛化能力上超越了现有方法，还为精准肿瘤学提供了一个透明且可解释的AI解决方案，为更可靠和高效的临床决策铺平了道路。