像放射科医生一样学习：一种通过课程学习进行放射图像分析的医学视觉语言模型

《npj Digital Medicine》：Learning like a radiologist: a medical vision-language model for radiological image analysis via curriculum learning

　　

摘要

医学视觉语言模型（MVLMs）在临床实践中展现出巨大潜力，但在泛化能力、数据质量以及临床意义评估方面仍存在局限性。我们提出了RadiSim-CL，这是一种通过模拟放射科医生的三个学习阶段（基础知识理解、解剖学知识掌握和高级诊断推理）来进行训练的MVLM。为此，我们构建了包含1200万张图像与文本对的RadiSim数据集，这些数据集与上述学习阶段相对应。我们采用五阶段逐步验证框架来评估该模型：（1）模态识别；（2）解剖结构识别；（3）解剖定位；（4）异常和疾病诊断；（5）疾病分类与分级。该框架涵盖了MRI、CT和DR成像领域的24个零样本子任务。RadiSim-CL在基础知识和解剖学任务上的表现与现有最先进模型相当，并在复杂推理任务中表现出更强的能力（例如，脑肿瘤诊断的AUC为0.953，脑膜瘤分级的准确率为0.764）。消融研究进一步证实了这种学习方法的有效性。因此，RadiSim-CL提供了一种可扩展且符合临床需求的解决方案，有助于提升诊断精度。