CoDiF-Net：一种基于条件扩散的多模态融合网络，用于预测脑海绵状血管畸形的出血风险

《Biomedical Signal Processing and Control》：CoDiF-Net: A conditional diffusion multimodal fusion network for predicting hemorrhage risk of cerebral cavernous malformation

预测脑海绵状血管瘤（CCM）术后出血风险，提出CoDiF-Net模型，利用条件扩散模型从MRI中重建病理特征，结合高频增强模块与跨模态注意力机制，实现仅基于MRI的多模态融合预测，验证其在1178例多中心数据集上优于现有方法。

　　

肖颖|董旭晨|权凯|马宇

复旦大学生物医学工程学院，上海200433，中国

摘要

预测脑海绵状血管畸形（CCM）的出血风险对于选择后续治疗策略至关重要。磁共振成像（MRI）可以提供病变的宏观结构信息，而全切片图像（WSI）则揭示了与出血密切相关的微观病理特征。整合这两种模式有可能显著提高预测性能。然而，WSI通常只能在手术后获得，这极大地限制了其在术前诊断中的临床应用。为了解决这一挑战，我们提出了一种基于条件扩散的多模态融合网络（CoDiF-Net），仅使用MRI数据来预测CCM的出血风险。该模型的核心思想是通过条件扩散过程从MRI中重建潜在的病理表征，从而在推理过程中无需真实的WSI输入即可生成病理信息。具体来说，我们引入了一个高频增强模块（HFEM）来捕捉多参数MRI中的细粒度结构特征。我们基于扩散模型开发了一个跨模态条件重建网络（CCRN），该网络使用放射学嵌入作为条件指导来生成语义对齐的病理特征。然后通过交叉注意力机制将这些生成的病理特征与放射学特征融合，实现深度语义交互和联合预测。我们在一个大规模数据集上验证了所提出的方法，实验结果表明CoDiF-Net在预测CCM出血风险方面显著优于现有方法。

引言

脑海绵状血管畸形（CCM）是第二常见的脑血管畸形类型，占所有中枢神经系统血管异常的5-15%。其特征是毛细血管和静脉簇异常扩张，可能导致癫痫发作和脑出血等症状，在严重情况下，甚至可能导致神经功能障碍或危及生命。反复的微出血是CCM的常见并发症，会破坏血脑屏障，引发炎症反应。炎症因子的释放会促进血管生成，加速疾病进展，同时增加症状性出血的风险。现有研究表明，首次出血后的再出血风险比初次出血前高出10倍以上[1]。首次出血后1至5年内，患者的再出血风险在14%到56%之间[2]。反复出血不仅会增加残疾率，还可能导致严重的神经损伤甚至死亡[3]。虽然初次出血后神经功能通常会随着时间改善，但再出血可能会干扰这一恢复过程，导致进一步的功能恶化。因此，预测CCM的出血风险已成为临床决策中亟需关注的关键问题。

治疗CCM的主要目标是预防出血并避免神经损伤。外科切除是降低出血风险的有效方法，目前是CCM的主要治疗方法。然而，外科手术本身存在并发症和术后神经功能缺陷的风险。因此，手术干预的最佳时机仍然是临床实践中的争议焦点。一些人认为应尽早进行手术以防止反复出血和随后的神经损伤，而另一些人则认为早期手术可能会增加神经损伤的风险。因此，准确预测CCM患者的出血风险对于确定最佳治疗计划和评估预后至关重要。现有研究[4]已经开发了机器学习模型来预测CCM患者的潜在出血风险，但这些模型仅限于使用简单的临床特征。我们的目标是评估未治疗患者的出血风险，为患者和医生制定治疗决策提供支持。这种方法旨在优化个性化治疗策略，防止过度治疗和治疗延误。

磁共振成像（MRI）是一种非侵入性成像技术，常用于CCM的诊断[5]。它能够有效表征病变的组织结构和异质性，并广泛用于生存预后和出血风险评估。基于MRI的自动预测方法在临床应用中具有巨大潜力，为个性化治疗和预后评估提供了有价值的信息。然而，由于MRI的空间分辨率有限，捕捉血管畸形的微观组织学特征具有挑战性。因此，仅依赖MRI的模型在性能和鲁棒性方面仍有改进空间，尤其是在处理更复杂任务时。

相比之下，全切片图像（WSI）可以直接可视化组织形态、细胞结构和微环境特征，被认为是诊断脑血管疾病的“金标准”[6]。研究表明，CCM中的出血与病变的微观结构有关。因此，将病理图像的微观信息作为放射学特征的补充可以有效地提高模型的区分能力和预测准确性。通过结合MRI和WSI的多模态信息，有望利用两者的优势实现更准确的疾病分类和风险预测[7]，[8]。大多数现有研究假设MRI和WSI可以同时获得。然而，在实际临床实践中这一假设并不成立。获取WSI具有侵入性，通常依赖于外科切除或活检，这在疾病早期阶段难以实施。此外，患者的身体状况或潜在并发症的风险往往限制了活检的可行性。对于CCM来说尤其如此，由于脑部手术的复杂性，WSI通常只能在手术后获得。因此，依赖病理模态的深度学习方法在CCM的术前诊断和治疗研究中面临显著限制。

鉴于上述问题，一个自然的问题是：是否可以在临床决策中仅使用非侵入性的MRI数据来实现准确的出血风险预测，并达到与整合放射学和病理数据的模型相当的性能？在临床实践中，医生更倾向于仅依赖放射学数据进行术前风险评估，为手术或保守治疗的决策提供可靠的基础。这种临床需求实际上是一个缺失模态学习问题。在训练阶段，MRI和WSI数据是可用的，但在推理和临床实践中，预测必须仅依赖于MRI数据。

在医学图像分析中，解决缺失模态问题的常见方法是跨模态生成，即使用一种模态来重建另一种模态的潜在特征，从而提高下游任务的性能。尽管这种策略在其他任务中取得了进展，但其应用于“从MRI生成病理特征”的任务仍面临两个主要挑战：

(1) WSI数据的高维度和巨大分辨率在提取代表性潜在特征方面带来了显著挑战。

(2) MRI和WSI在空间尺度、分辨率和视觉信息分布方面存在显著差异。模型设计的核心挑战是如何从MRI数据中学习与出血相关的微观结构表征。

为了解决上述挑战，我们提出了一个名为CoDiF-Net的框架，用于预测CCM患者的出血风险。在训练阶段，该框架从配对的MRI和WSI数据中共同学习；而在验证或临床应用阶段，仅需MRI输入即可进行预测。具体来说，我们利用基于分数的扩散模型，通过随机微分方程（SDE）将高斯噪声映射到目标模态分布。为病理模态训练了一个虚拟特征生成模块。为了减少生成特征与真实特征之间的语义差距，我们使用现有的MRI信息作为条件输入来指导WSI特征的生成过程。该模型能够在仅提供MRI图像的情况下自动生成虚拟病理特征，并融合多模态表征，从而克服了传统单模态诊断信息的局限性。这种方法也可以扩展到其他风险预测任务，如生存分析。

总结来说，本研究的主要贡献和创新如下：

•

我们基于条件扩散模型开发了一个跨模态条件重建网络（CCRN），用于恢复潜在的病理表征，从而在仅使用MRI的条件下提高预测性能。

•

我们设计了一个高频信息增强模块（HFEM），用于捕捉多参数MRI中的细粒度结构特征，从而提取关键的放射学表征，用于病理特征重建和风险预测。

•

我们构建了一个大规模的多站点数据集。在该数据集上进行了系列实验，并验证了我们的CCM出血预测方法相对于现有方法的优越性能。

部分摘录

医学领域中的多模态融合

在医学成像领域，多模态数据融合已成为关键的研究焦点。通过整合不同模态（如MRI和WSI）的成像信息，研究人员可以从宏观和微观角度捕捉疾病的结构和组织学特征，为疾病分类和预后评估提供更全面的基础。多项研究表明，联合MRI和WSI建模在疾病诊断和预后预测方面具有潜力。

概述

所提出的多模态重建和融合网络的总体框架如图1所示。它包括三个主要组成部分：(a) 病理特征提取模块；(b) 跨模态条件重建网络；(c) 多模态融合和风险预测模块。

首先，在病理特征提取阶段，对WSI进行分割并提取与出血风险相关的微观结构特征。考虑到WSI模态通常不可用

数据集和设置

数据集。本研究基于复旦大学华山医院的一个大型多站点队列进行。数据来自1,178名患者，其中756名来自华山医院西校区（713名具有配对的WSI和MRI扫描，43名仅具有MRI扫描），422名来自华山医院主校区（214名具有配对的WSI和MRI扫描，208名仅具有MRI扫描）。整个队列按比例随机分为训练集和测试集：70%（825名患者具有配对的MRI和WSI）

将CoDiF-Net置于多模态基础模型中的位置

医学基础模型的最新进展显著提高了成像和病理领域的表征学习能力。大多数单模态基础模型侧重于学习可泛化的模态特定表征，而多模态预训练框架强调跨模态对齐和融合，通常假设完整的多模态输入是可用的。相比之下，CoDiF-Net解决了临床现实中缺失模态的情况。

结论

在本文中，我们提出了一种新的条件扩散多模态融合网络（CoDiF-Net），用于预测脑海绵状血管畸形（CCM）患者的出血风险。该方法仅依赖MRI，通过条件扩散过程重建潜在的病理特征，捕获与出血高度相关的复杂生物信息。这使得在病理特征缺失的情况下实现表征级别的模态完成和信息融合。

资金来源

本研究由中国国家自然科学基金（编号82471339）和上海市科学技术委员会项目（编号23ZR1408700）资助。

CRediT作者贡献声明

肖颖：撰写 – 原始草稿、可视化、验证、软件、方法论、调查、形式分析。董旭晨：资源、方法论、调查、数据管理。权凯：资源、调查、数据管理、概念化。马宇：撰写 – 审稿与编辑、监督、项目管理、概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。