《JCO Precision Oncology》：Foundation Model Based on Routine Magnetic Resonance Imaging for Brain Tumor Molecular Profiling and Progression Prediction
编辑推荐：
本文介绍了一项利用自监督学习（SSL）构建脑磁共振成像（MRI）基础模型的研究。该模型名为统一多模态脑成像基础模型（UMBIF），通过大规-模无标签临床MRI数据预训练，能够准确预测胶质瘤的分子标记（如IDH突变、MGMT启动子甲基化）及治疗后影像学结局，有望减少对人工标注的依赖，提升临床决策支持效率。
引言
胶质瘤是最常见的恶性原发性脑肿瘤，具有显著的分子异质性和预后差异。分子生物标志物，例如IDH突变、1p/19q联合缺失和MGMT启动子甲基化，对于诊断、预后评估以及治疗后影像学评估至关重要。这些标志物通常需要通过肿瘤组织检测获得，即使进行诊断性活检也存在风险，这促使了旨在无创近似组织学诊断方法的发展。磁共振成像（MRI）因其无创性和优异的软组织对比度，成为胶质瘤诊断和治疗反应监测的主要手段。常规序列（如T1加权成像（T1WI）、T2加权成像（T2WI）、液体衰减反转恢复（FLAIR）和T1加权对比增强成像（T1CE））可以捕捉解剖结构改变。然而，解读工作仍主要依赖于放射科医师的主观评估，这限制了对胶质瘤分子特征进行准确预测的能力。
为了克服传统MRI解读的局限性，人工智能（AI），特别是深度学习（DL），被用于提取临床相关信息。深度学习模型能够无创预测关键生物标志物，并与影像基因组学结合，模拟治疗后的影像学结局。当前的方法主要结合基于影像组学的机器学习（ML）和基于深度学习的特征提取：影像组学依赖于对扫描设备和协议变异敏感的手工特征，而深度学习则从图像中学习与设备无关的表征。然而，深度学习仍然需要大量标注数据集，且模型在不同机构和采集协议间的泛化能力往往较差，这凸显了在胶质瘤诊疗中需要更鲁棒、可扩展的人工智能。
临床环境中存在的大量无标签数据为缓解监督学习所需标注样本的稀缺性提供了一条途径。自监督学习（SSL）已成为核心策略，允许模型通过对比学习或掩码图像建模等前置任务来获取可迁移的表征。这些表征随后可以针对特定的医学应用进行微调，从而减少对大型标注数据集的依赖。基于SSL预训练的视觉基础模型已在癌症成像生物标志物发现、视网膜及全身性疾病预测以及胃肠道内窥镜分析中显示出优势。鉴于医学图像与自然图像存在差异，此类模型需要通过基于医学数据的微调、轻量级适配器、提示或专门架构进行领域特定适应，才能变得具有临床实用性。
本研究基于先前发布的统一多模态脑成像基础模型（UMBIF）框架，从最初的基础模型演示推进到更全面、更具临床导向的评估场景。UMBIF采用掩码自编码器方案，并在一个包含2,312名患者的无标签多模态脑MRI队列上进行预训练，学习的是多序列全脑体积表征，而非仅针对肿瘤区域。在此基础上，我们针对IDH突变状态、1p/19q联合缺失、MGMT启动子甲基化以及治疗后影像学结局的分类任务，实施了任务特定的微调。
材料与方法
数据集来源与患者
为了构建UMBIF编码器-解码器模型，研究者从癌症影像档案库（TCIA）和Kaggle平台策划了多个脑MRI数据集，涵盖胶质瘤、阿尔茨海默病和痴呆症。为确保无数据泄露，用于下游评估的MRI扫描被提前移除。剩余数据集被汇总形成预训练队列。
为了评估模型在治疗后影像学结局表征（特别是区分假性进展（PsP）与肿瘤进展（TuP））方面的性能，研究使用了Burdenko-GBM-Progression数据集和宾夕法尼亚大学卫生系统的多参数MRI数据集（UPENN-GBM），共计161次MRI扫描。
为了评估遗传和分子特征的预测，研究使用了Burdenko-GBM-Progression、脑切除多模态成像数据库（ReMIND）和癌症基因组图谱低级别胶质瘤集合（TCGA-LGG）。根据分子数据，患者被按MGMT启动子甲基化状态（甲基化 vs. 非甲基化）和IDH突变状态（IDH突变型 vs. IDH野生型）分组。这为IDH状态分析产生了1,100次MRI扫描，为MGMT启动子甲基化分析产生了485次扫描。
对于1p/19q联合缺失分析，研究使用了ReMIND和TCGA-LGG数据集。根据临床和分子信息，患者被分为两组：有联合缺失和无联合缺失。总计提取了485次MRI扫描用于此分析。
数据预处理
在预训练阶段，研究者并行准备了两种输入类型：全脑三维体积图像，以及针对每位患者的单张二维切片（捕捉最大感兴趣区域）。这种设计允许在第一阶段训练中对这两种表征进行头对头比较。
UMBIF编码器-解码器架构与训练
为促进自监督视觉表征学习，研究团队基于视觉变换器（ViT）开发了一个3D医学成像自编码器（UMBIF编码器-解码器）。该框架包括两个模块：一个ViT编码器和一个变换器解码器。在预训练期间，编码器接收被掩码的图像块标记，并为底层的MRI体积生成潜在特征嵌入。解码器随后将编码器输出与掩码标记结合，在掩码自编码目标的指导下恢复被省略的图像块。这种设计使得模型能够在不需手动标签的情况下学习信息丰富的视觉表征。
研究将UMBIF编码器与两个预训练的参考模型（SSL-ImageNet和SSL-Cerebral）进行了比较评估。尽管它们的预训练范式不同，但它们使用了相同的骨干架构和相同的微调方案。
分类器开发与比较算法
对于下游分类任务，研究在预训练的ViTAutoEnc后附加了一个分类头。该分类头包括一个特征选择层和一系列全连接层，以突出最具信息量的表征。
研究还使用了三种卷积神经网络（CNN）——ResNet-34、DenseNet-121和ShuffleNet——作为对比基准，这些网络均在ImageNet1k上进行了预训练。其次，研究利用从这些CNN中提取的特征来构建和评估各种传统的机器学习分类器。
为评估预训练的UMBIF编码器的可扩展性，研究者设计了四个二元分类任务：任务1，区分放化疗后的假性进展（PsP）与肿瘤进展（TuP）；任务2，评估胶质瘤中的1p/19q联合缺失状态；任务3，预测胶质瘤中的IDH突变状态；任务4，确定胶质瘤中的MGMT启动子甲基化状态。
统计分析与伦理批准
研究使用DeLong检验来评估分类模型之间AUC（受试者工作特征曲线下面积）的差异。P值<0.05被认为具有统计学显著性。本研究遵循《赫尔辛基宣言》，并获得天津医科大学肿瘤医院伦理委员会的批准。
结果
数据特征
研究采用两阶段训练策略来构建一个基于常规MRI的脑分析模型，以应对多个临床终点。在第一阶段，UMBIF编码器-解码器在N = 51,029张图像上进行预训练，以学习鲁棒的特征表征。在第二阶段，研究在多机构的T1CE数据上进行了有监督的微调，以评估跨队列的泛化能力。用于训练和测试的数据集已汇总。
UMBIF编码器模型在1p/19q联合缺失状态及治疗后影像学结局表征方面的性能评估
UMBIF编码器在治疗后结局表征和1p/19q联合缺失状态评估中均表现出优越性能。对于1p/19q联合缺失，其准确率达到0.898，AUC为0.916，优于SSL-Cerebral和SSL-ImageNet。对于治疗后影像学结局表征，该编码器的准确率为0.899，AUC为0.815，同样超过了基于SSL的方法。
UMBIF编码器模型在确定IDH突变状态和MGMT启动子甲基化状态方面的性能评估
UMBIF编码器在TCGA-LGG数据集上实现了0.829的IDH突变分类准确率，AUC为0.896。基于SSL的方法准确率明显较低。对于MGMT启动子甲基化分类，UMBIF编码器在TCGA-LGG上达到了0.905的准确率，高于SSL方法。
深度学习与机器学习模型性能比较
在所有分类任务中，UMBIF编码器均取得了最佳性能，在准确率和AUC方面均优于传统的卷积神经网络和机器学习分类器，突显了其在多样化临床环境中的强大分类能力。
讨论
本研究构建并验证了UMBIF，这是一个用于脑MRI的编码器-解码器自监督学习框架，旨在减少对人工标注的依赖。通过在包含51,029张磁共振图像的多机构队列上进行训练，UMBIF通过跨对比度的上下文恢复获得了强大且可迁移的表征，并在神经肿瘤学分类任务上取得了先进的性能。相较于在自然图像或单一大肿瘤区域上预训练的自监督学习方法，UMBIF提供了更高的分类准确率。它在治疗后影像学结局表征、1p/19q联合缺失预测、IDH突变状态预测和MGMT启动子甲基化预测方面，也一致超越了广泛使用的CNN基线模型和传统机器学习方法。
高质量标注数据的获取不足仍然是医学图像分析的主要制约因素。自监督学习通过在无标签数据集上进行大规模预训练，使模型能够在没有直接任务监督的情况下捕获结构化的图像特征，从而提供了一个有吸引力的解决方案。这项工作提出了一个跨对比度上下文恢复目标，利用自监督学习从大型无标签队列中学习可泛化的脑成像表征，然后通过微调来提高下游应用的性能。
另一个重要的观察结果是UMBIF编码器-解码器在多中心队列中表现一致。MRI采集协议、扫描仪硬件和潜在患者特征的差异通常会阻碍跨站点的泛化。传统的监督模型在开发数据集上可能取得强劲结果，但在外部队列评估时性能会显著下降。相比之下，我们在多个独立数据集上评估了UMBIF编码器的鲁棒性，发现其在所有测试集上始终优于SSL-Cerebral和SSL-ImageNet等预训练基线模型——这是人工智能系统临床部署的重要前提。
在治疗后影像学结局表征方面，UMBIF编码器在Burdenko-GBM数据集上达到了0.899的准确率，优于基线方法。这表明自监督学习能够捕捉肿瘤微环境的变化，并自动挖掘与治疗后影像学结局相关的成像特征，为传统的影像组学方法提供了更有效的替代方案。
关于分子生物标志物预测，UMBIF编码器在预测IDH突变状态、MGMT启动子甲基化和1p/19q联合缺失方面表现出色，准确率分别达到0.829、0.905和0.898。这些结果表明，自监督学习能够捕获更深层次的影像基因组学关联，提供比传统影像组学方法更优的预测性能。我们的研究挑战了当前对从自然图像数据集进行迁移学习的普遍依赖，表明直接在医学图像上进行自监督学习预训练，相比在ImageNet上预训练的模型能带来更优越的性能。
本研究的发现对理论和临床实践均具有启示意义。从理论角度来看，本研究系统地评估了自监督学习在多任务医学图像分析中的适应性，表明自监督学习能够有效地从MRI中捕获成像模式，并揭示MRI数据与肿瘤分子状态之间的潜在关联，从而提高神经肿瘤学诊断的准确性。从应用角度来看，UMBIF作为一个通用医学成像基础模型，可以减轻放射科医师的标注工作量，并为实现精准医疗提供一条更高效、更具成本效益的途径。它可以嵌入临床决策支持流程，帮助临床医生进行治疗前评估和治疗后监测。
在临床工作流程中，UMBIF编码器旨在作为基于影像的决策支持辅助工具，而非组织病理学诊断的替代品。治疗前，它支持无创分层，为手术/活检路径选择以及计划采样范围和目标提供信息。在治疗后监测期间，它有助于区分假性进展与肿瘤进展，并可能减少不必要的侵入性操作。当组织获取存在禁忌或风险较高时，该模型可以提供初步分层并促进临床试验预筛选。
然而，UMBIF模型仍存在重要局限性。首先，它主要是在常规结构性MRI序列上训练的，没有利用更丰富的多模态脑MRI采集或整合病理图像，且大多数患者来自欧盟和美国，降低了地理代表性。其次，关键的流行病学和临床因素未被纳入。第三，目前的范围仅限于IDH、1p/19q和MGMT，未涵盖其他世界卫生组织定义标志物；并且主要依赖于标准结构性MRI而非高级序列，缺乏对临床协变量的系统性整合。
总之，UMBIF是一个基于MRI的自监督学习框架，通过在自然图像和3D医学图像上进行两阶段训练，改善了分子病理预测和神经影像分析。它通过减少标签依赖、增强泛化能力、利用3D结构以及在数据有限场景下优于监督方法，同时加强了放射学-分子整合和神经基因组学。
