具有跨模态融合的超图主题神经网络,用于潜在治疗模式推荐

《Engineering Applications of Artificial Intelligence》:Hypergraph topic neural network with cross-modal fusion for latent treatment pattern recommendation

【字体: 时间:2026年03月17日 来源:Engineering Applications of Artificial Intelligence 8

编辑推荐:

  电子病历中的高阶关系建模与跨模态特征融合提升治疗模式推荐效果,提出HGTCNRec框架,整合超图神经主题建模、Transformer文本特征提取及创新评分级跨模态融合机制,实现临床可解释的个性化治疗方案发现,实验验证在推荐准确率和主题质量上优于基线方法。

  
作者:辛敏(Xin Min)、李伟(Wei Li)、谢卫东(Weidong Xie)、张鹏飞(Pengfei Zhang)、文传标(Chuanbiao Wen)、丁卫平(Weiping Ding)
成都中医药大学智能医学学院,中国成都,611137

摘要

电子病历(EMR)为智能治疗推荐系统提供了宝贵的数据。然而,现有方法在建模复杂的高阶关系和有效整合异构医学特征方面面临挑战。传统的主题模型难以处理浅层的语义表示。相反,超图方法由于未能充分整合文本特征而缺乏可解释性。本研究提出了一种结合超图神经网络和跨模态融合的治疗模式推荐算法(HGTCNRec),该算法将超图神经网络与主题建模和跨模态特征融合相结合。该框架包含三个关键组成部分:用于捕获高阶治疗关系的超图神经主题建模、使用Transformer编码器的辅助文本特征提取,以及用于整合异构特征的跨模态融合。超图结构通过超边表示捕捉治疗行为之间的复杂共现模式。主题建模组件在保持可解释性的同时发现具有临床意义的模式。我们提出了一种新颖的分数级跨模态架构,该架构通过关键的设计创新与现有融合方法有所不同。在三个真实世界数据集上的全面实验表明,其性能优于基线方法。结果在推荐准确性和主题建模质量指标上显示出显著改进。该方法已通过专家临床验证,具有较高的可解释性,并有望支持个性化治疗计划。然而,其实际的临床价值需要通过临床医生的深入评估和前瞻性研究来进一步确认。

引言

电子病历(EMR)在现代医疗系统中已得到广泛应用。这些记录包含了关于患者治疗过程的全面信息。EMR数据的积累为智能医疗决策支持系统提供了机会(Krai?nikovi?等人,2025年)。治疗模式推荐旨在为个别患者确定个性化的治疗策略。这种方法分析大量的医疗记录以发现最佳治疗路径。传统的治疗推荐方法依赖于预定义的临床指南。这些基于规则的方法存在几个局限性:它们无法捕捉现实世界医疗场景的复杂性,缺乏对个体患者差异的适应性,也无法识别新兴的治疗模式。这些局限性促使人们需要数据驱动的方法(Aspland等人,2021年)。
最近的一些研究(Huang等人,2015年)探索了用于治疗推荐的概率主题建模方法。这些方法将患者的治疗轨迹视为文档,将活动视为单词,其中每个轨迹代表一组执行的医疗服务。图1展示了这种交互,展示了主题模型如何从治疗数据中提取潜在模式。然而,现有的主题建模方法存在显著局限性。传统的主题模型(如LDA及其变体)主要捕获单个治疗轨迹内的共现模式,将每个轨迹独立处理。虽然最近的研究(Min等人,2023年)在通过多通道超图结构建模高阶相关性方面取得了进展,但它仅关注从图拓扑角度进行模式挖掘,而没有整合医疗记录中的异构文本特征。此外,现有方法缺乏有效的跨模态融合机制,无法弥合结构化交互图和非结构化临床叙述之间的语义差距,从而限制了它们提供全面且可解释的治疗推荐的能力。
图神经网络(GNN)为建模临床数据提供了一种替代方法(Cai等人,2022年)。GNN方法在患者-治疗交互图上使用消息传递技术,可以捕获一些高阶治疗关系。然而,现有的GNN方法存在局限性:它们无法明确建模更高阶的诊断推理,也无法准确表示医疗决策中的概率分布(Lin等人,2021年)。
推荐系统受益于多种类型的特征(Xia等人,2024年;Yan等人,2024年),因为不同特征传递了正交且互补的信息,从而能够构建更完整的用户画像和项目特征(Zhang等人,2023年;Zhang等人,2021年)。除了用户-项目交互中的图形特征外,另一种用于描述用户和项目的特征是辅助特征,包括用户类型和项目属性等特征。如图1所示,患者EMR包含多种信息,包括医疗历史、检查报告和人口统计数据。不同的医学特征类型提供了互补的信息(Liu等人,2025年)。这使得患者和治疗的表示更加全面。然而,整合不同类型的特征具有挑战性。图特征和辅助特征源自不同的表示空间:图特征捕捉交互关系,而辅助特征反映了内在属性。然而,现有的融合方法往往难以建模这些特征模态之间的复杂依赖关系。
最近的进展探索了各种医学推荐架构,包括超图神经网络(Xu等人,2023年;Zhu等人,2022年)、主题模型(Wang等人,2019b年;Yao等人,2018年)和基于Transformer的方法(Wang等人,2022年;Li等人,2024年)。虽然这些方法显示出有希望的结果,但它们通常只解决了临床治疗模式发现中的一部分挑战。一些方法专注于结构关系而忽略了语义可解释性,其他方法捕获了时间动态但缺乏跨模态整合,少数方法同时提供了准确的推荐和具有临床意义的模式发现。
为了解决上述问题,我们提出了一种结合超图特征融合的跨模态特征融合的超图主题神经网络(HGTCNRec)用于潜在治疗模式推荐。我们提出的HGTCNRec通过一个统一的框架创新性地结合了超图结构、神经主题建模和跨模态融合,解决了这些局限性。与以往工作的关键区别包括:(1)一种新颖的分数差异损失用于跨模态特征对齐;(2)同时捕获高阶交互和潜在的语义模式;(3)在实现良好推荐性能的同时保持可解释的主题结构。尽管我们的实验结果在基准数据集上显示出有希望的性能,但我们认识到临床应用需要通过前瞻性研究和临床医生的评估进一步验证。总之,我们的工作有以下贡献:
  • 我们引入了一种将超图神经网络与概率主题模型相结合的通用架构,用于治疗推荐。这一设计在理论上将超图的表示能力与主题模型的可解释性结合起来,使模型能够捕获复杂的高阶关系,同时保持具有临床意义的潜在结构。
  • 我们开发了一个由证据下界(ELBO)控制的联合优化框架,该框架同时优化超图结构重建和治疗轨迹生成。这种方法论创新实现了端到端训练,确保所有组件协同改进。
  • 我们提出了一种新颖的跨模态融合机制。与依赖于特征连接或投影到共享空间的方法不同,我们的方法直接最小化了图特征和辅助文本特征之间的预测不一致性。
  • 我们在三个医学数据集上进行了严格的实验,证明在表示和推荐性能上分别比最佳基线提高了8.5%和13.1%。消融实验和可视化实验证明了我们的理论和方法在实际应用场景中的显著创新价值。
本文的结构如下:第2节回顾了主题建模、超图学习和协同过滤的相关工作。第3节介绍了问题表述和数学符号。第4节详细介绍了提出的HGTCNRec方法。第5节提供了实验分析和评估。第6节总结了工作并讨论了未来方向。

相关工作

在本部分,我们将相关工作分为三类:用于主题模式生成的主题模型、超图学习和协同过滤。

初步介绍

在本节中,我们描述了治疗模式推荐的整体任务,并提供了文章中使用的其他定义。

超图主题卷积网络

本节介绍了我们提出的HGTCNRec模型,该模型创新地将主题模式发现与治疗模式推荐相结合。HGTCNRec结合了概率主题模型和图卷积网络(GCN),旨在通过整合辅助特征和挖掘潜在主题结构来共同建模治疗模式和治疗链接。如图2所示,HGTCNRec是一个主要由以下三个核心组件组成的深度生成模型:
  • 超图神经

实验

本节评估了HGTCNRec在主题模式学习和治疗推荐方面的有效性。我们首先描述了实验设置,包括数据集、基线、评估指标和配置。然后,我们展示了与经典方法和最先进方法的性能比较,以证明我们模型的优越性。随后,消融研究验证了每个模块的贡献。最后,敏感性分析和结果可视化进一步证明了我们的理论和方法在实际应用场景中的价值。

局限性和更广泛的影响

我们的工作存在一些局限性,这为未来的研究指明了方向。首先,HGTCNRec本质上是静态的,没有明确建模临床事件的时间顺序,而这通常对治疗计划至关重要。此外,评估依赖于回顾性数据和定量指标,需要未来的前瞻性研究和专家临床验证来确认其实际效用和安全性。另外,尽管该模型在我们的数据集上表现高效,

结论

我们提出了HGTCNRec,这是一个将超图神经网络与主题模型相结合的框架,用于临床治疗模式推荐。我们的主要贡献在于两个新颖的组件:(1)一种分数级跨模态融合机制,通过最小化交互分数差异来桥接异构特征;(2)一种模式级推荐公式,它共同优化了主题发现和治疗模式排名,以实现个性化推荐。

CRediT作者贡献声明

辛敏:撰写 – 审稿与编辑、撰写原始草稿、可视化、资源管理、方法论、资金获取、数据整理。李伟:资源管理、数据整理。谢卫东:资源管理、形式分析、数据整理。张鹏飞:监督、资金获取。文传标:监督、资金获取。丁卫平:监督。

利益冲突声明

作者声明他们与本工作没有利益冲突。

致谢

本工作得到了非传染性疾病-国家科技重大专项(2023ZD05094005)、国家自然科学基金(62406044)和四川省科技计划(2024NSFSC0721)的支持,以及东北大学教育部智能医学图像关键实验室(MIIC)的开放基金(编号322024236)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号