一种多模态深度学习框架，利用乳腺X光片和临床数据来提升乳腺癌诊断的准确性

《Scientific Reports》：A multi-modal deep learning framework for enhanced breast cancer diagnosis using mammograms and clinical data

　　

摘要

乳腺癌导致的死亡是全球女性中最普遍的死因之一。尽管乳腺X线摄影是标准的筛查工具，但由于组织重叠、高乳腺密度以及病变特征的复杂性，诊断的准确性仍然受到限制。为了解决这一普遍问题，我们提出了一个多模型深度学习框架，该框架将乳腺X线图像与结构化的临床数据相结合（注意：由于缺乏真实的配对数据，我们使用了基于风险因素已知分布的合成临床变量）以提高诊断的准确性。该架构的发展为未来基于可靠临床数据的多模态技术指明了有希望的方向。该架构采用了分层融合方法，并结合了跨模型注意力机制和动态模态加权，以高效整合异构特征。此外，还集成了一种感兴趣区域处理模块，用于突出显示乳腺X线图像中的关键解剖结构。在基准数据集上的实验评估显示，该模型的分类准确率为94.6%（95%置信区间：92.8–96.4%），AUC为0.963（95%置信区间：0.951–0.975），显著优于现有的基线模型（p < 0.01）。这些结果表明，所提出的架构框架作为一个概念验证具有巨大的潜力，可以成为可靠且易于解释的临床决策支持工具。