基于提示引导的模式完成方法在心脏病理学分割中的应用

《Pattern Recognition》：Prompt-Guided Modality Completion for Cardiac Pathology Segmentation

心肌病理分割需多模态MRI，但模态缺失导致性能下降。本文提出PMC方法，通过图像和特征层提示实现多粒度模态补全，有效处理缺失场景，提升分割准确性和鲁棒性，并在多个基线模型和两个数据集上验证有效性。

　　

方东根|顾玉良|于凌毅|杜波|徐永超|吴连明

武汉大学国家多媒体软件工程研究中心，中国武汉，430070

摘要

心肌病理分割是医学图像分析中的重要任务。现有方法通常依赖于多模态磁共振成像（MRI）来实现精确的分割。然而，在实际采集中，模态缺失的情况很常见，这导致分割性能大幅下降。为了解决这一挑战，我们提出了prompt引导的模态补全（Prompt-Guided Modality Completion，简称PMC）。PMC在图像层面和特征层面分别引入了输入提示和特征提示，实现了多粒度模态补全，并有效处理了各种缺失模态的场景。该方法可以无缝集成到不同的基线网络中。在四个基线模型和两个心肌病理分割数据集上的广泛实验表明，PMC显著提高了分割的准确性和鲁棒性。例如，在MyoPS++数据集上，将PMC集成到四个不同的基线网络中后，疤痕和水肿的分割准确率提高了1.21%到2.16%。代码可在https://github.com/zzzzzzl24/PIPO_net获取。

引言

疤痕、水肿和其他心肌病理特征是评估心肌梗死严重程度的关键生物标志物[1]，[2]。随着医学成像技术的进步，基于磁共振成像（MRI）的心肌病理分割（MyoPS）已成为临床诊断和预后分析的关键步骤[3]，[4]。与单模态MRI相比，多模态MRI（例如bSSFP、LGE、T2w）提供了互补的结构和病理信息，已成为主流方法[5]，[6]。然而，当前的多模态MRI方法通常依赖于所有模态的完整可用性。当任何模态缺失时，分割的准确性和稳定性会显著下降。在真实的临床场景中，由于患者不配合、成像时间过长以及成像协议和设备的变化等原因，模态缺失的情况很常见。因此，减轻缺失模态导致的性能下降已成为一个关键挑战。

现有的解决缺失模态问题的方法主要包括通过生成模型进行模态补全、通过知识蒸馏进行知识转移，以及在共享潜在空间中进行统一表示学习。生成模型（如生成对抗网络[7]，[8]和扩散模型[9]，[10]，[11]）通过学习跨模态映射来重建缺失数据，从而部分恢复模态信息。然而，这些模型通常需要针对每种缺失模式进行特定训练，导致计算成本高且泛化能力有限。知识蒸馏方法[12]，[13]采用教师-学生框架，将基于完整模态训练的教师模型的知识转移到缺失模态的学生模型中，以提高泛化和鲁棒性。尽管如此，它们的性能仍然严重依赖于教师模型的质量，并且在训练过程中仍需要大量的计算资源。共享潜在空间方法[14]，[15]，[16]将多模态数据映射到统一的潜在表示空间中，以实现跨模态对齐和互补。然而，在严重缺失模态的情况下，潜在空间的稳定性和区分能力仍然脆弱。尽管这些方法在某种程度上缓解了问题，但在泛化、效率和模型复杂性方面仍存在挑战。

近年来，提示学习在多模态任务中取得了显著进展。这种类型的方法将可学习的提示（提示嵌入）引入模型的输入层或中间层，通过调整少量提示参数即可适应下游任务，同时保持预训练模型的不变[17]。受这种“提示驱动”范式的启发，本文提出了一种新的prompt引导的模态补全（Prompt-Guided Modality Completion，简称PMC）方法，以解决MyoPS中的缺失模态问题。与传统提示学习不同，PMC将提示的概念从“语义指令”扩展为特征恢复和补偿的机制。具体来说，PMC引入了与输入维度对齐的图像级提示和特征级提示，为缺失模态生成明确的补全信息，并动态补偿不完整的特征。此外，PMC轻量级且即插即用，可以无缝集成到各种基线网络中，而不会带来显著的计算开销，同时有效提高分割的准确性和鲁棒性（见图1）。本研究的主要贡献如下：

•

我们提出了prompt引导的模态补全方法，它在图像层面和特征层面都对缺失模态进行了明确和动态的补偿。

•

PMC轻量级且具有泛化能力，可以无缝集成到各种基线网络中，以提高分割性能和鲁棒性。

•

除了在多模态MRI数据集上的广泛实验验证了PMC的有效性外，我们还公开发布了完整的代码库，促进了相关领域的研究复现性并鼓励未来的研究。

章节片段

多模态心肌病理分割

心肌病理分割（MyoPS）在心肌梗死的诊断和治疗计划中起着关键作用，能够精确识别疤痕和水肿区域。早期的分割方法主要依赖于阈值分割或形态学滤波[18]，[19]，其适应性和鲁棒性有限。随着深度学习技术的快速发展，越来越多的研究将其应用于心肌病理分割，并展示了出色的性能

总体框架

在这项工作中，我们提出了一种prompt引导的模态补全（Prompt-Guided Modality Completion，简称PMC）方法来解决MyoPS中的缺失模态问题。如图2所示，PMC包括两个主要组成部分：在图像层面运行的输入补全模块（Input Completion Module，简称ICM）和在特征层面运行的特征补全模块（Feature Completion Module，简称FCM）。

问题定义

考虑一个受试者，他拥有一组模态图像$\{x_i^{m_1}$，其中$x_m^n$表示模态< />_n的图像。为了不失一般性，在本文中我们考虑了三种

数据集和评估协议

我们在一个公共基准数据集和一个大规模的内部数据集上评估了所提出的PMC的性能，具体描述如下。

MyoPS++ 数据集 [22]。MyoPS++ 数据集是CARE 2024 MyoPS++挑战赛的一部分，包含来自中国、法国和英国七个医疗中心的250名患者的数据。其中，只有95个病例包含了所有三种模态（bSSFP、LGE和T2w），这些数据是公开可用的。我们使用这95个病例进行评估，将它们分为76个

讨论

为了进一步阐明所提出的PMC的内部机制及其生成表示的特征，我们在本节进行了全面的可解释性分析。首先，我们检查了PMC合成的视觉模式，以揭示其在提高分割准确性和鲁棒性中的作用。随后，使用Grad-CAM [37]，我们对MMP-Unet和ShaSpec模型在有无PMC的情况下的注意力区域进行了比较分析，从而证明了

结论

在这项工作中，我们提出了一种轻量级的prompt引导的模态补全（Prompt-Guided Modality Completion，简称PMC）方法，以减轻多模态心肌病理分割中缺失模态导致的性能下降。通过在图像层面和特征层面引入提示机制，PMC明确恢复了缺失的信息，并动态补偿了特征表示，从而在不同基线模型上实现了准确性和鲁棒性的持续改进

CRediT作者贡献声明

方东根：撰写——原始草案、可视化、验证、方法论、调查、形式分析、数据整理、概念化。顾玉良：可视化、验证、软件、方法论、形式分析。于凌毅：可视化、验证、形式分析、数据整理。杜波：撰写——审阅与编辑、方法论、形式分析。徐永超：撰写——审阅与编辑、可视化、监督、资源管理、项目管理、方法论、资金获取，

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

这项工作部分得到了中国国家重点研发计划（项目编号2023YFC2705700）和中国国家自然科学基金（项目编号62222112、62225113、62176186、82171884和82471931）的支持