用于软组织肉瘤复发风险分层的多模态深度学习框架：一项多中心研究

《npj Precision Oncology》：Multimodal deep learning framework for recurrence risk stratification in soft tissue sarcoma: a multicenter study

　　

摘要

准确预测复发风险对于制定有效的个性化治疗策略至关重要，尤其是对于患有软组织肉瘤（STS）的患者。本研究旨在开发并验证一个多模态深度学习框架，该框架整合了临床特征、术前磁共振成像（MR）图像以及苏木精-伊红染色全切片图像（WSI），以预测STS患者的复发情况。共有323名STS患者被从两家医院回顾性纳入研究，分别用作开发集和验证集。研究采用了ShuffleNetV2网络来生成补丁级（patch-level）和WSI级的特征表示；同时使用了一个结合通道注意力机制和空间注意力机制的卷积神经网络来生成放射学特征表示。最终通过Cox回归分析将临床特征、放射学特征评分以及WSI级特征评分整合到一个综合模型中。该模型在验证集上的表现优异，C指数达到0.857，时间依赖性曲线下面积为0.959。类别激活图有助于监测疑似复发区域，为复发决策提供依据。低风险组和高风险组的无复发生存时间存在统计学差异（p < 0.05）。所提出的多模态框架在预测STS患者复发风险方面具有良好的准确性，可为治疗方案的选择提供参考。