TabFusion：一种双分支门控融合网络，结合表格表示和图像表示用于肝细胞癌的生存预测

《Biomedical Signal Processing and Control》：TabFusion: A dual-branch gated fusion network integrating tabular and image representations for survival prediction in hepatocellular carcinoma

肝癌生存预测的TabFusion双分支融合网络研究，提出通过Tabular-to-Multi-Image策略将异构临床数据转换为多通道图像表示，结合MLP分支捕捉数值特征，并引入特征选择门控机制实现动态权重分配与可解释性提升。在SEER数据库和独立医院队列验证中，模型AUC分别达到0.8565和0.8330，显著优于传统机器学习、深度学习基线及预训练模型。

　　

王增帅|张若宇|刘小平|郑敏华|王立明

北京交通大学机械、电子与控制工程学院，中国北京100044

摘要

准确的生存预测对于肝细胞癌（HCC）的个性化治疗至关重要。然而，常规临床数据由于其异质性和非线性而带来挑战。本研究提出了TabFusion，这是一种新颖的双分支门控融合网络，它将常规临床数据与其相应的基于图像的表示相结合，以实现稳健的3年生存状态预测。该框架包括一个图像分支，采用表格到多图像（Tab2MI）策略来实现跨特征交互的卷积建模，以及一个利用多层感知器（MLP）来捕获单个特征效应的表格分支。两个分支都通过特征选择门控（FSG）机制进行调节，以提高可解释性。我们在Surveillance, Epidemiology, and End Results（SEER）数据库和一个独立医院队列上将TabFusion与传统的机器学习算法、深度学习模型和预训练模型进行了基准测试。TabFusion分别获得了0.8565和0.8330的AUC，显著优于所有基线。消融研究证实了双分支设计的协同价值。此外，可解释性分析表明，该模型识别出的预后因素与医学知识一致。凭借其参数效率和透明的决策过程，TabFusion为HCC的临床决策支持提供了一个高效且可解释的解决方案。

引言

原发性肝癌已成为全球癌症相关死亡的第三大原因，对全球公共卫生构成了严重威胁[1]。肝细胞癌（HCC）占所有原发性肝癌病例的约80%，是最常见的病理亚型[2]。尽管HCC的治疗策略不断进步，但总体预后仍然较差，5年生存率低于20%[3]。因此，准确的预后评估对于指导个性化治疗决策和改善患者预后至关重要[4]。

常规临床数据通常以表格格式记录，包括人口统计信息、临床诊断和实验室检测结果，涵盖了患者管理的整个过程。由于这些数据几乎为所有患者常规收集且获取成本低廉，它们为构建预测模型提供了宝贵的基础[5]，[6]。然而，有效挖掘其中嵌入的复杂非线性模式仍然是一个重大挑战[7]。

历史上，临床预后评估主要依赖于传统的统计模型，如意大利肝癌计划（CLIP）评分[8]和白蛋白-胆红素（ALBI）等级[9]。虽然这些模型在临床上易于使用，但其预测准确性常常受到对非线性生理关系过度简化的限制。传统的机器学习方法随后提高了性能[10]，但通常需要繁琐的手动特征工程，并且缺乏端到端的特征学习能力。最近，研究开始探索深度学习在HCC预后中的应用。例如，DeepSurv[11]引入了深度神经网络进行生存分析，Wang等人[12]随后利用这一架构构建了预后模型。然而，这些早期尝试主要基于简单的全连接架构，限制了它们完全捕捉特征之间复杂组合交互的能力。

近年来，深度学习在处理表格数据方面取得了显著进展。虽然基于Transformer的架构利用注意力机制来增强特征交互[13]，[14]，但它们通常需要大型数据集和大量的计算资源，这使得它们不太适合样本量相对有限的临床场景。相反，受到计算机视觉领域成功的启发，“表格到图像”方法应运而生，试图利用卷积神经网络（CNNs）[15]，[16]，[17]的强大特征提取能力。然而，尽管这些方法在基因组学和药物发现等领域取得了显著成功，但它们通常是为高维、同质的数值数据量身定制的。当应用于常规临床任务时，它们面临明显的局限性，因为数据集本质上是低维且异质的，包含连续数值和离散分类变量的混合。关键的是，这些方法通常仅依赖于转换后的图像表示，忽略了原始临床数据中固有的互补预测价值，并且缺乏模型可解释性的机制。

为了解决这些局限性，我们提出了TabFusion，这是一个专门为利用常规临床数据进行HCC生存预测而设计的可解释深度学习框架。该框架有效地结合了CNN捕捉复杂非线性特征交互的能力和MLP对数值特征的精确建模。具体来说，为了克服现有图像转换方法与异质临床记录的不兼容性，我们采用了一种直观的、按通道的表格到多图像（Tab2MI）策略来适应CNN分支的数据。同时，一个使用MLP的并行分支保留了原始特征空间。在这个架构中，我们明确地将特征选择门控（FSG）模块纳入两个分支中。这一机制促进了特征级别的动态权重分配和噪声抑制，从而使模型具有内在的可解释性。本研究的主要贡献总结如下：

• •
  我们提出了TabFusion框架，它将基于图像的表示捕获的复杂特征交互与原始临床数据中保留的数值精度协同整合。
• •
  我们设计了一个可学习的特征选择门控模块，它在提高模型泛化能力的同时提供了临床直观的特征重要性分析。
• •
  在公共和医院队列上进行的广泛实验表明，TabFusion在HCC生存预测任务中显著优于传统的机器学习方法、最先进的深度表格学习基线和预训练模型。

本文的其余部分结构如下。第2节回顾了相关工作。第3节详细介绍了研究队列和提出的TabFusion框架。第4节展示了实验结果和分析，第5节为讨论，第6节为结论。

模型片段

HCC生存预测模型

HCC预后评估的范式正从传统的临床评分系统转向数据驱动的智能模型。早期研究主要集中在开发基于线性假设的评分系统。代表性示例，如CLIP评分[8]和ALBI等级[9]，使用简单的线性组合临床指标对患者风险进行分层。尽管这些工具在临床上得到了广泛应用，但它们固有的线性结构限制了它们的能力

研究队列和数据收集

SEER（Surveillance, Epidemiology, and End Results）数据库是由美国国家癌症研究所维护的全面的人口基础癌症登记系统，收集并发布了涵盖大约30%美国人口的癌症发病率和生存数据[25]，[26]。SEER提供了大规模、高质量和标准化的各种癌症类型的临床和流行病学数据，包括人口统计信息、肿瘤特征、治疗信息和生存数据

实验设置

所有实验都在配备单个NVIDIA RTX 4090 GPU的Ubuntu工作站上进行。深度学习模型使用PyTorch框架实现[30]。

对于TabFusion，网络使用AdamW优化器[31]和二元交叉熵（BCE）损失进行端到端训练。为了保持数据的自然分布并确保实验间的一致性，没有应用类别加权或重采样技术。主干网络（CNN + MLP）和门控模块

讨论

在这项研究中，我们提出了TabFusion，这是一种新颖的双分支深度学习框架，它将常规临床数据与其多通道图像表示协同整合，以准确预测HCC患者的3年生存状态。在公共SEER_HCC队列和独立的HOSP_HCC临床队列上进行的广泛实验表明，TabFusion与经典机器方法相比，始终表现出更优且统计上显著的性能

结论

本研究提出了TabFusion，这是一个双分支深度学习框架，旨在基于常规临床数据预测HCC患者的3年生存状态。通过对公共SEER_HCC队列和独立HOSP_HCC队列的广泛评估，TabFusion在AUC、准确性和F1分数方面始终优于传统的机器学习方法、最先进的深度表格架构和预训练模型

CRediT作者贡献声明

王增帅：撰写——原始草稿、可视化、验证、方法论。张若宇：撰写——原始草稿、数据管理。刘小平：撰写——审阅与编辑、监督、资金获取。郑敏华：撰写——审阅与编辑、监督、项目管理。王立明：撰写——审阅与编辑、监督、数据管理。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。