《Information Fusion》：Multimodal Dynamic Fusion Framework for Survival Prediction in Clear Cell Renal Cell Carcinoma
编辑推荐：
多模态医学影像融合框架MDF通过整合双相位CT与病理切片图像，采用CMDM模块缓解异构性并设计DGMI模块实现动态特征融合，显著提升ccRCC患者生存预测精度。
傅邦康|李五超|何俊杰|徐子|彭云松|刘振|张岩|李品豪|黄平|王荣平
贵州省精准影像诊断与治疗国际科技合作基地，贵州省先进医学影像与智能计算重点实验室，贵州省人民医院放射科，贵阳，550002，贵州，中国
摘要
准确估计癌症生存结果对于指导个性化治疗决策至关重要。随着深度学习的进步，越来越多的研究开始利用放射学和病理学图像进行生存分析。然而，大多数现有方法仅关注单模态数据，从而忽略了不同成像方式所捕获的多尺度信息。这些信息对于更全面地评估患者预后至关重要。尽管具有潜力，但由于数据异质性和复杂的模态交互作用，多模态整合仍然是一个挑战。为了解决这些问题，我们提出了一种新的框架MDF，该框架动态整合了双相增强计算机断层扫描（CT）和全切片图像以进行生存预测。具体而言，为了减轻模态异质性，我们首先采用基于结果的无监督训练来学习来自CT扫描不同阶段的通用表示。随后，我们引入了跨模态差异最小化（CMDM）模块来缓解CT和病理学模态之间的异质性。最后，我们加入了动态门控多模态交互（DGMI）模块，根据个体特征以个性化方式自适应融合多模态特征。在两个中心的数据集上进行的大量评估表明，我们提出的MDF框架在生存预测方面取得了最先进的性能，突显了其在利用跨模态信息方面的有效性。
引言
肾细胞癌（RCC）是一种高度致命的恶性肿瘤，透明细胞癌（ccRCC）占RCC相关死亡病例的多数[1]，[2]。在临床实践中，肿瘤淋巴结转移（TNM）分类和实验室检查通常被用作预后因素[3]。然而，即使具有相同的组织学亚型和疾病阶段，患者之间的临床结果也存在差异[4]。手术切除仍然是ccRCC的主要治疗策略。尽管遵循术后监测指南，大约三分之一的ccRCC患者仍会出现疾病进展[5]。这些挑战突显了开发准确预后工具在ccRCC中的重要性。
近年来，先进的人工智能在医学图像分析中发挥了越来越重要的作用[6]，[7]。许多研究使用放射学扫描或全切片图像（WSIs）进行全面的癌症特征分析。放射组学将医学图像转换为高通量定量特征，有助于识别与肿瘤相关的生物标志物，并在ccRCC患者的诊断和预后方面取得有希望的结果[8]。同时，病理学图像仍然是癌症诊断的金标准，提供了细胞和组织层面的丰富表型信息[9]。此外，基于WSI的分析在ccRCC中的应用取得了实质性进展，凸显了其在改善预后评估和个性化治疗方面的潜力。
尽管现有研究在生存分析方面取得了显著进展，但大多数工作仍然依赖于单模态数据，很少有研究探索将CT和病理学图像整合起来用于ccRCC的预后评估。病理学图像捕获了微观层面的组织和细胞特征，提供了关于细胞形态和细胞间相互作用的见解[10]。相比之下，CT扫描是描绘肿瘤大小、解剖位置、形态配置和转移状态的重要工具[11]。虽然结合病理学和CT成像可以从微观和宏观维度提供对肿瘤的全面了解[12]，但不同模态之间的固有差异（如数据格式、空间尺度和维度）给准确的生存预测带来了挑战。例如，WSIs通常包含数十亿个像素，经常被处理为数万个小图像块，而CT扫描通常只包含少数体积块。在之前的多模态融合尝试中，使用了简单的策略（如串联或双线性融合）来整合不同模态的特征[13]。然而，这些方法往往没有充分考虑模态间的异质性，并限制了放射学和组织病理学数据之间的交互学习能力。一些研究探索了使用跨注意力机制[14]，[15]来促进模态间的交互。然而，固定的融合模式可能无法充分捕捉不同个体之间的固有异质性，从而可能限制模型学习区分性特征的能力。
为了解决上述挑战，我们提出了MDF框架，用于ccRCC的生存分析，该框架整合了双相增强CT图像（包括皮质髓质相（CP）和肾图相（NP）与WSIs，以实现全面的多模态表示学习。具体来说，我们首先进行单模态特征表示学习。对于双相CT扫描，我们使用DenseNet提取每个阶段的深度特征。为了指导学习过程，我们在个体层面引入了无监督的一致性约束。此外，考虑到两个阶段之间的强相关性，我们设计了共同特征增强器（CFE）模块来强调跨阶段的共享信息。然后，我们采用弱监督学习策略从WSIs中学习区分性表示。为了减轻CT和病理学模态之间的固有异质性，我们引入了跨模态差异最小化（CMDM）适配器，以实现联合表示学习。在多模态融合过程中，个体间的差异可能导致每个模态的贡献不同。因此，我们设计了动态门控多模态交互（DGMI）模块，该模块受到专家混合范式的启发，能够自适应地融合特定于模态的特征。在两个ccRCC数据集上进行的广泛实验表明，所提出的MDF框架在生存预测方面取得了最先进的性能（SOTA），验证了其在利用跨模态信息方面的有效性。
总结来说，我们的主要贡献如下：
1) 我们提出了一种新的多模态融合框架MDF，该框架整合了双相增强CT和WSIs来预测ccRCC的总体生存率。据我们所知，这是第一项同时使用双相CT和WSIs进行ccRCC生存分析的研究。
2) 对于双相CT图像，我们设计了一种无监督学习策略来约束表示学习。此外，为了增强共享的预后信息，我们引入了CFE模块，该模块强调共同特征同时抑制不相关的特征。
3) 为了减轻CT和病理学模态之间的异质性，我们开发了CMDM适配器，以增强跨模态特征表示的相似性。
4) 考虑到患者层面的异质性，我们认识到固定的特征融合方案可能并不适合所有个体。为了实现自适应和个性化的特征整合，我们引入了DGMI模块，该模块动态选择融合路径以改善多模态交互并提高生存预测性能。
部分摘录
基于WSI的生存分析
WSIs被认为是肿瘤诊断的金标准，能够提供组织和细胞形态的详细检查[16]。然而，由于它们的极高分辨率，当前的计算方法无法直接处理整个WSIs。已经出现了两种主要的基于WSI的生存分析策略：基于兴趣区域（ROI）的方法和基于多实例学习（MIL）的方法。基于ROI的方法通常依赖于病理学家的手动注释
方法
图1展示了MDF框架的示意图。最初，分别独立学习特定于模态的表示：使用DenseNet处理双相CT图像[31]，并通过一致性学习策略来规范表示学习；使用ResNet将WSIs编码为块级特征[32]。为了改善模态间的异质性，应用了CMDM适配器。随后，设计的DGMI模块促进了
数据集
我们回顾性地收集了来自两个医疗中心的ccRCC数据集：贵州省人民医院（GPPH）和贵州医科大学附属医院（GMUAH）。具体来说，GPPH有344名患者，GMUAH有286名患者。每个患者的数据集包括增强后的CP和NP CT图像、相应的病理图像以及随访生存信息。患者的详细人口统计特征在表1中总结。
实施细节
对于
讨论
随着医学成像技术的进步，越来越多的研究采用多模态数据进行预后分析。然而，不同模态之间的固有异质性给有效的多模态融合带来了挑战。当前研究中的一个关键问题是如何高效地整合和交互不同数据模态。据我们所知，这是第一项使用双相增强CT和病理学图像进行
结论
本手稿重点关注使用两种不同模态（双相增强CT和WSIs）进行生存分析。为了获得更通用的CT模态表示，我们使用共同特征增强器（CFE）模块重新组织来自双相图像的特征。此外，引入了跨模态差异最小化（CMDM）模块来减轻模态间的异质性。为了适应个体特定特征，我们设计了动态门控多模态交互
数据共享声明
在合理请求下，将提供衍生数据的匿名版本。
CRediT作者贡献声明
傅邦康：撰写——原始草案、验证、软件、方法学、研究。李五超：撰写——审阅与编辑、可视化、资源、研究、形式分析、数据管理、概念化。何俊杰：撰写——审阅与编辑、验证、软件、方法学。徐子：撰写——审阅与编辑、可视化、验证、形式分析、概念化。彭云松：撰写——审阅与编辑、方法学、形式分析。刘振：撰写——审阅与利益冲突声明
作者声明他们没有已知的利益冲突或个人关系可能影响本文报告的工作。
