综述：人工智能与多模态数据分析相结合在肿瘤免疫治疗和靶向治疗中的价值

《Biochimica et Biophysica Acta (BBA) - Reviews on Cancer》：The value of artificial intelligence combined with multimodal data analysis in tumor immunotherapy and targeted therapy

AI技术推动肿瘤精准医疗发展，通过多模态数据融合提升诊疗效果，但仍面临数据标准化和模型可解释性挑战。

　　

Dan Lv|Sufei Wang|Wenjing Xiao|Juanjuan Xu|Yang Jin

湖北省重大呼吸系统疾病临床研究中心呼吸与重症监护医学科，国家卫生健康委员会呼吸系统疾病重点实验室，华中科技大学同济医学院联合医院，武汉，湖北430022，中国

摘要

近年来，免疫疗法和靶向疗法的出现彻底改变了肿瘤治疗领域，标志着向精准医疗的转型。人工智能（AI）技术在肿瘤免疫疗法、靶向疗法及相关领域发挥了关键作用，通过提高治疗效果预测能力、发现新的治疗靶点以及实现个性化治疗策略。在早期阶段，AI的发展主要依赖于单模态数据处理架构，这些架构仅能分析单一类型的数据，因此在功能上受到限制。然而，最近在数据采集和整合方面的突破开启了肿瘤学中多模态数据融合的新时代。因此，AI与多模态数据分析的结合现在能够提高诊断准确性、更精确地预测预后，并优化个性化治疗计划——尤其是在肿瘤免疫疗法和靶向疗法中。与此同时，这一快速发展的领域也面临着一些紧迫的挑战，包括数据稀缺、缺乏标准化、多模态数据对齐困难以及复杂深度学习模型的“黑箱”性质。因此，在本综述中，我们旨在总结用于肿瘤诊断和治疗的常见AI技术、多模态数据来源和融合方法、AI与多模态数据分析在肿瘤免疫疗法和靶向疗法中的应用，以及这种综合方法目前面临的主要挑战。

引言

根据国际癌症研究机构（IARC）的最新估计，2022年全球约有2000万新发癌症病例和970万癌症死亡病例（包括非黑色素瘤皮肤癌）[1]。因此，迫切需要更先进和新的技术来对抗这种致命疾病。免疫疗法和靶向疗法的出现开启了癌症治疗的新时代，因为这些方法提高了患者的总生存期（OS）并减少了治疗不良反应。值得注意的是，这两种疗法显著提高了患者的总生存期和无进展生存期（PFS）[[2]]，[3]]，[4]]。

多年来，人工智能（AI）经历了漫长而复杂的演变过程，取得了重大突破和变革。历史上，AI技术被广泛应用于肿瘤学的各种领域，包括肿瘤诊断和治疗反应预测[[5]]，[6]]，[7]]，[8]]，[9]]，[10]]，[11]]。然而，大多数现有研究主要依赖于单模态数据分析，这可能限制了对复杂肿瘤生物学的全面理解[[12]]，[13]]，[14]]，[15]]，[16]]，[17]]。相比之下，实验室技术的最新进展、基于人群的队列研究以及电子健康记录（EHR）支持的临床工作流程生成了大量的异构数据，包括分子谱型、影像特征和纵向治疗轨迹。因此，AI模型现在可以利用多模态数据中的互补信息，识别模内和模间预测特征[18,19]。这种融合推动了精准肿瘤学的范式转变，基于AI的多模态数据整合显著提高了治疗决策的准确性[7],[20]]，[21]]，[22]]，[23]]，[24]]，[25]]。一个典型的例子是Li等人开发的Multi-modal transformer with Unified maSKed modeling（MUSK）框架。这个基础AI模型将组织病理成像与临床描述相结合，并通过专门的损失函数分别处理文本和图像，用于掩码语言建模（MLM）和掩码图像建模（MIM）。此外，MUSK利用大约一百万个图像-文本对进行对比学习，以对齐视觉和语言特征，从而建立跨模态联系。在多个公开可用的基准数据集上的评估表明，MUSK模型在黑色素瘤复发、泛癌症预后和免疫疗法反应方面的预测性能准确。

以前，AI的“黑箱”性质使得医疗专业人员对其在临床决策中的可靠性持谨慎态度[[27]]，[28]]，[29]]。然而，如今一些多模态架构保持了稳定的预测性能，并提高了模型的可解释性，有效缓解了这一信任问题[7],[30]]，[31]]，[32]]。因此，随着数据稀缺和缺乏标准化等关键挑战的逐步缓解，AI与多模态数据分析的结合在推进精准肿瘤学和治疗策略方面获得了广泛关注[32,33]]。

本综述系统地概述了AI的发展轨迹，探讨了跨模态数据整合的策略，并强调了AI驱动的多模态分析在肿瘤学中的广泛应用。讨论的关键领域包括肿瘤生物标志物的预测、药物耐药机制的阐明、不良反应的预测、患者预后的评估以及个性化治疗策略的制定。此外，综述还概述了多模态模型目前面临的主要挑战，提出了相应的解决方案，并展望了如何将这些模型更好地应用于临床实践。

部分内容

常见的AI技术

从最初阶段到目前的先进状态，AI的发展经历了一条复杂而具有挑战性的道路（图1）。AI通过整合大型异构数据集、通过预测假设生成指导实验设计，并生成与科学工作流程无缝对接的计算强大模型，从而革新了科学各领域的方法论方法[34,35]。

多模态数据的类型

多模态数据融合的研究历史悠久，可以追溯到音频-视觉语音识别的早期发展[105]。多模态数据可以分为以下几类：影像数据；临床数据；生物组学数据，包括基因组学、转录组学、蛋白质组学、代谢组学、微生物组学等相关类型；以及病理数据[[106]]，[107]]，[108]]，[109]]。

多模态数据的整合与分析方法

传统的多模态数据融合方法被系统地分为三种范式

AI与多模态数据分析在癌症免疫疗法和靶向疗法中的具体应用

通过整合多源数据，AI驱动的多模态融合模型显著增强了癌症免疫疗法和靶向疗法的关键领域的能力，包括疗效预测、不良反应预测和个性化治疗方案的制定（图3）。

数据缺失与标准化

AI与多模态模型的结合极大地推动了精准肿瘤学的发展，然而，构建此类系统需要大量的跨领域数据集（放射学、病理学和临床数据），其中缺失的数据较为常见，这可能会降低模型的效能、引入偏差并降低性能[158]。因此，OmniFuse使用自适应模态插补方法在低质量的真实世界数据中保持模型的稳健性，但当不同模态的数据差异较大或相关性较弱时，插补可能会引入噪声或偏差

结论

AI驱动的多模态分析在改善癌症免疫疗法和靶向疗法方面具有巨大潜力；然而，它仍受到数据标准化不足、数据缺失严重、多模态融合挑战以及可解释性有限的限制。未来的工作应优先开发开放、标准化、高质量的多模态癌症数据平台，整合多中心资源，建立统一的数据采集、注释和共享协议

作者贡献

D.L.、S.W.和W.X.构思并起草了手稿，生成了图表并总结了表格；J.X.和Y.J.审阅并编辑了手稿；所有作者均已阅读并批准了最终版本的手稿。

资助

本研究部分得到了非传染性疾病-国家科技重大项目（2023ZD0509900）、湖北省重点研发项目（2023BCB146）、国家自然科学基金（编号82272434、82270110、82330003、82070099、82102496、82570136）、湖北省科技创新人才计划（2024DJA023）以及华中科技大学荆山联合医院联合项目基金的支持

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

我们衷心感谢Peng Sun和Mengzhou Sun（中国新软医疗系统有限公司）、Lian Yang（华中科技大学同济医学院联合医院放射科）以及Quan Kong（武汉工业大学湖北光学信息与模式识别重点实验室）在研究过程中的宝贵意见。同时，我们也感谢Editage（http://www.editage.cn/）对本文的英文编辑工作。