基于多模态深度学习的急性缺血性脑卒中功能结局预测：影像与临床数据融合研究

《Neuroscience Informatics》：Integrating cross-sectional imaging data into functional outcome prediction models for acute ischemic stroke of the anterior circulation

本研究针对急性缺血性脑卒中前循环大血管闭塞患者的功能结局预测难题，探讨了将NCCT和CTA影像数据与临床特征相结合的多模态深度学习模型的预测效能。研究团队利用包含2927例患者的多中心数据集，对比了仅基于临床基线模型、仅基于影像的深度学习模型以及融合多模态信息模型的性能。结果显示，与仅使用临床数据的基线模型相比，整合影像信息并未显著提升预测效能（AUC无统计学显著差异），但多模态方法可替代部分需放射科医师手动标注的影像学生物标志物，具有简化临床工作流程的潜力。该研究为卒中预后预测提供了新的技术视角，并发表于《Neuroscience Informatics》。

　　

在急性缺血性脑卒中的治疗领域，血管内治疗（EVT）已成为针对前循环大血管闭塞（LVO）患者的一种革命性疗法。然而，治疗的成功很大程度上依赖于精准的患者筛选。临床上，医生需要快速、准确地预测患者在接受EVT后90天的功能恢复情况，通常以改良Rankin量表（mRS₉₀）评分来衡量。一个理想的预测模型可以帮助医生制定个性化的治疗方案，优化医疗资源配置，并最终改善患者的康复前景。目前，大多数预测模型主要依赖临床参数，例如年龄、美国国立卫生研究院卒中量表（NIHSS）基线评分、卒中前mRS评分等。这些临床评分工具，如MR PREDICTS，虽然经过临床验证，但其预测性能仍有提升空间。一个重要的问题是，在患者入院时常规采集的影像学数据，如非增强CT（NCCT）和CT血管成像（CTA），是否蕴含着未被充分利用的、与功能结局相关的关键信息？如果能够通过先进的人工智能技术自动从这些影像中提取信息，并将其与临床数据融合，或许能突破现有预测模型的性能瓶颈，甚至避免繁琐且存在观察者间差异的影像学生物标志物手动评估过程。

为了回答这个核心问题，一个由荷兰伊拉斯姆斯MC大学医学中心放射与核医学科领衔的研究团队开展了一项大规模研究，旨在系统性地评估整合横断面影像数据是否会改善急性缺血性脑卒中功能结局的预测性能。他们的研究成果已发表在学术期刊《Neuroscience Informatics》上。

研究人员利用来自荷兰MR CLEAN前瞻性观察性登记研究的数据，该登记库涵盖了2014年至2018年间荷兰17个中心接受EVT治疗的卒中患者。经过严格的数据预处理和质量控制，最终纳入了2927名同时拥有术前NCCT、CTA影像、临床资料以及90天mRS评分数据的患者。研究团队构建了三种不同类型的预测模型进行比较：第一种是仅处理临床和放射学特征（合称为表格数据）的“表格模型”；第二种是仅处理NCCT和/或CTA影像的“影像模型”；第三种则是将前两者融合的“多模态模型”。预测的目标是将mRS₉₀分为功能独立（mRS₉₀≤ 2）与功能依赖（mRS₉₀≥ 3）两类。在技术方法上，团队采用了先进的深度学习架构。对于影像处理，他们测试了基于三维卷积神经网络（CNN）的Med3D（MeD）模型和基于自注意力机制的Vision Transformer（ViT）模型。对于表格数据，则使用了多层感知器（MLP）、逻辑回归（LR）以及专门的MR PREDICTS（MRP）模型。多模态模型通过将影像骨干网络（MeD或ViT）提取的特征与MLP处理表格数据得到的特征进行拼接，再通过全连接层进行融合预测。研究采用了五折交叉验证和保留测试集（10%的数据）的方式进行模型训练与评估，并进行了超参数优化、数据集大小影响分析以及影像模态消融实验等一系列严谨的验证。

本研究的关键技术方法包括：1） 利用大规模多中心临床登记队列（MR CLEAN Registry）构建数据集；2） 采用基于Med3D（MeD）和Vision Transformer（ViT）的深度学习模型进行端到端的影像特征提取；3） 构建融合影像与临床表格数据的多模态预测模型；4） 使用受试者工作特征曲线下面积（AUC）作为主要性能评价指标，并采用DeLong检验进行统计比较。

研究结果

模型性能比较

在测试集上的性能显示，仅基于表格数据的最佳模型（MLP_RD+CL）的AUC为0.84。而融合了影像和表格数据的最佳多模态模型，无论是基于MeD的MeD_{NC+CA, RD+CL}还是基于ViT的ViT_{NC+CA, RD+CL}，其AUC均为0.83。统计检验表明，多模态模型的性能与基线表格模型相比，并无显著提升（p值分别为0.158和0.671）。这表明，在当前的数据和模型框架下，直接添加影像信息并未带来预测性能的统计学显著改善。

影像模态的作用

进一步的消融研究发现，仅使用CTA影像的模型（MeD_CA, AUC=0.62）与同时使用NCCT和CTA影像的模型（MeD_NC+CA, AUC=0.60）性能相当。而仅使用NCCT影像的模型（MeD_NC, AUC=0.56）性能则显著更差。这一结果提示，对于功能结局预测，CTA影像所含的信息比NCCT更具价值，并且结合NCCT并未产生显著的协同效应。

数据集规模的影响

通过逐步增加训练数据量，研究人员发现当训练集规模达到总数据量的37.5%（约768例患者）时，模型性能（验证集AUC）即达到平台期，继续增加数据量并不能带来明显提升。这说明本研究使用的数据集规模对于当前任务而言是充足的。

模型可行性验证

作为一项合理性检查，研究人员还让模型执行了一项相对简单的任务——从脑部CT影像中预测患者的性别。MeD和ViT模型在此任务上分别取得了0.75和0.73的AUC，证明这些深度学习模型确实能够从预处理后的影像中提取出有意义的生物信息。

研究结论与讨论

本研究通过系统性的实验得出了一个关键结论：将NCCT和CTA影像数据与临床特征通过深度学习进行端到端的多模态融合，并未能显著超越仅基于精心挑选的临床和放射学特征（表格数据）的预测模型。 这一发现与近年来该领域的多项研究结果相呼应。

对于这一结果，研究者提出了两种可能的解释。首先，90天功能结局（mRS₉₀）本身是一个噪声较大的指标。在EVT治疗后的90天内，许多因素（如康复过程、并发症等）都会影响最终结果，这些因素在治疗前是难以完全预测的，构成了预测任务的“不可减少误差”。其次，影像中可能包含的信息与最强的临床预测因子（如年龄、基线NIHSS评分）存在高度重叠。深度学习模型可能确实从影像中学会了推断这些核心临床特征，但由于这些信息已经包含在表格数据中，因此影像的“附加价值”就显得有限。

尽管在绝对预测性能上未实现突破，但本研究仍有其重要意义。研究发现，基于CTA影像的深度学习模型（MeD_CA,CL）其预测性能与包含了放射科医师手动标注的影像学生物标志物（如侧支循环评分、阿尔伯塔卒中项目早期CT评分-ASPECTS）的模型性能相当。这意味着，深度学习模型有潜力自动从CTA影像中提取出与手动标注生物标志物等效的预后信息，从而在临床实践中免除手动标注的步骤，减轻放射科医师的工作负担，并可能减少因观察者间差异带来的不一致性。

总之，这项研究基于目前最大的联合NCCT和CTA卒中预后预测数据集之一，为多模态深度学习在急性缺血性脑卒中领域的应用提供了严谨的评估。它表明，在现有技术框架下，单纯增加影像模态并不能必然提升表格数据模型的上限，但揭示了AI模型在自动化提取影像生物标志物方面的实用价值。未来的研究方向可能包括探索更有效的多模态融合策略、纳入如CT灌注（CTP）或弥散加权成像（DWI）等能提供不同生理信息的影像模态，以及在前瞻性临床环境中验证这些自动化工具的实用性和有效性。