随着眼科领域成像和非成像数据的不断积累,迫切需要深度学习模型来整合成像数据(如眼底图像和光学相干断层扫描(OCT)以及非成像数据(包括年龄、性别和体重指数(BMI))。这种整合对于提高计算机辅助诊断(CAD)系统在疾病预后方面的性能至关重要(Huang, Chung, 2020, Huang, Chung, 2022)。一方面,成像数据提供了观察病理特征和确定疾病状态的最直接证据,这对于诊断各种视网膜疾病(如年龄相关性黄斑变性(AMD)、糖尿病性视网膜病变(DR)、青光眼、白内障、近视和高血压性视网膜病变)至关重要(Wang et al., 2023; Zhou et al., 2023)。另一方面,非成像信息可以揭示不同个体之间的潜在相关性,有助于疾病预测(Hou et al., 2023; Song, Li, Gao, Chen, Wang, Ma, Lei, 2021, Song, Zhou, Frangi, Cao, Xiao, Lei, Wang, Lei, 2023b)。例如,大规模研究已经确定高龄是AMD的主要风险因素,而高血压和肥胖等系统性疾病也会显著影响其风险(Wang, Han, Wang, & Han, 2025; Zhang et al., 2016)。同样,对于DR,高血压和糖尿病持续时间等因素也被一致认为是其发展和进展的主要驱动因素(Wondmeneh & Mohammed, 2024)。因此,开发能够融合成像和非成像数据的深度学习模型变得尤为重要。这样的模型可以利用日益丰富的多模态医学数据,实现更全面的特征表示和更准确的视网膜疾病预测。
在视网膜疾病自动化诊断领域,深度学习技术,特别是卷积神经网络(CNNs)(He, Zhang, Ren, & Sun, 2016; Huang, Liu, Van Der Maaten, & Weinberger, 2017; Liu et al., 2022; Tan & Le, 2019)和视觉Transformer模型(Dosovitskiy et al., 2021; Liu et al., 2021; Chen et al., 2023a; Hu et al., 2023)已经变得非常突出。这些模型擅长从眼底图像中自动提取视觉特征,从而辅助眼科疾病的诊断。然而,这些模型的一个主要挑战在于如何整合和利用非成像数据。常见的方法是将从图像中提取的特征与非成像数据通过连接(Zhou et al., 2022)或添加(Tang et al., 2022)等方法结合起来。然而,这种方法缺乏有效建模不同个体之间交互和相关性的能力,而这对于提高疾病预测的准确性至关重要。这一局限性反映了计算生物学的一个更广泛观点(Li, Li, & Wu, 2025; Yang, Mann, Wu, & Ding, 2024):成功分析复杂系统需要明确建模异构数据之间高阶关系的框架,而不仅仅是将每个样本视为孤立实例。
相比之下,基于图学习的模型为这个问题提供了一个新的解决方案。在这些模型中,个体被视为图中的节点,它们之间的关系通过边来表示(Song, Li, Gao, Chen, Wang, Ma, Lei, 2021, Song, Zhou, Frangi, Cao, Xiao, Lei, Wang, Lei, 2023b)。例如,一个受试者的眼底图像可以作为一个节点,非成像信息可以用来在这些节点之间构建边,如图2(d)所示。然而,标准的图卷积网络(GCNs)(Kipf & Welling, 2017)本质上仅限于建模成对关系。这种限制阻碍了它们捕捉基于临床属性组合分组的患者之间复杂的多对多关系。这种群体结构更适合用超边来建模,超边可以同时连接多个节点(Feng, You, Zhang, Ji, & Gao, 2019; Gao, Feng, Ji, & Ji, 2023; Gao et al., 2022; Sch?lkopf, Platt, & Hofmann, 2007)。
为了解决GCNs在处理复杂高阶相关性方面的局限性,我们引入了超图结构来建模这些相关性。超图通过引入超边的概念,有效地捕捉了个体之间的高阶相关性,超边将具有相同关系的多个节点聚集到一个超边中(Bai, Zhang, & Torr, 2021; Dai & Gao, 2023; Jiang, Wei, Feng, Cao, & Gao, 2019)。关键的是,我们提出了一个多超图(MHG)框架。这一设计的动机在于患者关系的独特性质:视觉相似性(来自眼底图像)和属性相似性(来自临床数据)形成了两种互补但结构不同的关系类型。将它们合并到一个图中会失去这种结构特异性。因此,我们的方法构建了单独的特征超图和属性超图,保留了每种模态的独特拓扑结构,同时学习它们的融合。在我们的方法中,我们使用编码器从眼底图像中提取视觉特征。每张眼底图像被视为超图中的一个节点,其提取的特征向量被视为该节点的属性。随后,我们使用各种度量学习策略构建特征超图,反映节点之间的语义关系。此外,我们使用非成像数据构建属性超图,进一步丰富了节点之间的关系表示。通过结合特征超图和属性超图,我们形成了一个复杂的多超图结构,有效地表示了节点之间的高阶相关性。然后,为了适应嵌入过程中节点特征的变化,本研究还引入了一种动态构建特征超图的策略。这种动态构建机制确保了超图结构能够灵活调整,以反映最新节点特征的变化。此外,我们开发了一个加权超图卷积(WHConv)模块,有效地实现了通过节点-超边-节点信息传输机制的信息融合和传播。总体而言,所提出的多超图结构和相应的学习方法在眼底图像分析任务中表现出优越的性能,为建模高阶关系提供了新的视角和强大的工具。我们的贡献如下。
- 1) 我们提出了一个用于眼底疾病诊断的超图模型。该模型整合了成像和非成像数据,构建了一个多超图结构,通过WHConv在多超图结构中高效实现了信息传输,完成了个体之间高阶关系的建模。
- 2) 我们采用了动态图构建策略。具体来说,在模型训练过程中,我们根据节点嵌入的变化动态构建特征超图。这种方法旨在更好地适应数据的真实特征,从而提高模型处理复杂数据结构的能力。