《Frontiers in Immunology》：ProMMF_Kron: a multimodal deep learning model for immunotherapy response prediction in stomach adenocarcinoma
编辑推荐：
本刊推荐：该研究创新性地提出ProMMF_Kron多模态深度学习模型，通过克朗内克积（Kronecker）融合基因表达谱和病理图像特征，结合反向投影（back-projection）模块实现跨模态特征的迭代优化。在胃腺癌（STAD）微卫星不稳定性（MSI）预测中达到0.96的AUC值，显著优于单模态模型（提升3.2%）及其他多模态方法（提升4.3%），为精准免疫治疗提供了可靠的决策支持工具。
背景：
免疫检查点抑制剂（ICI）疗法通过阻断T细胞抑制性信号通路，显著改善了多种癌症的治疗效果。然而，由于免疫相关不良事件风险，准确预测患者对ICI治疗的反应仍是重大挑战。微卫星不稳定性（MSI）作为重要生物标志物，其高突变率和丰富肿瘤新抗原产生的特性，已被证明能有效预测免疫治疗临床获益。在胃腺癌（STAD）患者中，约22%表现为MSI亚型，其余为微卫星稳定（MSS）型，这种分子异质性凸显了开发可靠预测工具的紧迫性。
材料与方法：
研究基于包含282例患者的多中心数据集，开发了名为ProMMF_Kron的多模态深度学习模型。该模型采用两阶段特征融合策略：首先通过差异基因分析和预训练深度卷积神经网络（ResNet50）分别从分子 profiles 和病理图像中提取关键特征；随后设计包含克朗内克积运算和反向投影模块的融合架构，实现基因表达特征与病理图像特征的高效交互。数据集按6:2:2比例划分为训练集、验证集和测试集。
病理图像特征提取采用注意力机制的多示例学习（AMIL）框架，将每位患者的切片图像通过ResNet50转换为2048维特征向量，经线性层映射为512维向量后计算注意力权重。基因特征通过DESeq2筛选差异表达基因（|logFC|>2，p<0.05），共识别861个差异基因（41个上调，820个下调）。模型通过引入渐进式融合（Pro-Fusion）机制，利用反向投影将融合特征重新映射回原始特征空间进行迭代优化，显著提升跨模态特征交互能力。
结果：
实验结果表明，ProMMF_Kron模型在独立测试集上达到0.96的AUC值（95%CI：0.89-1.00），较单模态预测模型提升3.2%，较其他多模态方法提升4.3%。五折交叉验证显示模型具有优异稳定性（平均AUC=0.9572±0.0243）。在结直肠癌（CRC）数据集上的迁移验证进一步证实其泛化能力（AUC=0.99）。SHAP特征可视化揭示RPL22L1、PTMAP4等高表达基因与MSI状态正相关，而CFAP221、CCDC198等高表达与MSS状态相关。GO/KEGG富集分析显示差异基因显著富集于Wnt信号通路、Ras信号通路等免疫相关通路。
讨论：
研究提出的Pro-Fusion机制具有三大优势：适应性（无效融合时参数可归零）、迭代优化（多轮强化判别特征）和可解释性（结构化跨模态交互）。与现有多模态模型（GMBAN、MCB）相比，ProMMF_Kron在保持参数效率（450万参数）的同时实现更优判别性能。局限性包括配对样本量有限和病理图像采集的侵入性，未来将探索非侵入性替代方案并扩展多癌种验证。
结论：
ProMMF_Kron通过创新性融合分子生物学信息与病理图像数据，为STAD患者MSI状态分类提供了高效预测工具。该模型建立的可解释多模态融合框架，在精准免疫治疗决策支持方面展现出重要转化价值。
