基于GIN-Transformer的成对图对比学习框架

《Neural Networks》：GIN-Transformer based Pairwise Graph Contrastive Learning Framework

提出基于图同构网络与Transformer的配对图对比学习框架，结合局部空间连接建模和全局时间动态捕捉，实现多尺度特征提取与跨领域泛化能力提升，在脑疾病自动诊断中表现优于现有方法。

　　

周书峰|周丽娜|周月英|韩红艳|郑红霞|乔丽山

山东聊城大学数学科学学院，中国聊城252000

摘要

静息态功能磁共振成像（rs-fMRI）为诊断自闭症谱系障碍（ASD）和重度抑郁症（MDD）等神经精神疾病提供了关键的生物标志物。然而，现有的深度学习模型严重依赖于标记数据，这限制了它们的临床应用。本研究提出了一种基于GIN-Transformer的成对图对比学习框架（GITrans-PairCL），该框架结合了图同构网络（GIN）和Transformer，通过无监督图对比学习来解决数据稀缺问题。该框架包括两个关键组件：双模态对比学习（DCL）模块和任务驱动的微调（TDF）模块。DCL使用滑动窗口增强rs-fMRI时间序列，结合GIN对局部空间连接性进行建模，并利用Transformer捕捉全局时间动态，从而通过跨视图对比学习实现多尺度特征提取。TDF将预训练模型适配到下游分类任务中。我们在两个公开可用的数据集上进行了单站点和跨站点评估，实验结果表明GITrans-PairCL在自动诊断脑疾病方面优于传统的机器学习和深度学习基线方法。该模型结合了局部和全局特征，并使用预训练的对比学习来减少对标记信息的依赖并提高泛化能力。

引言

静息态功能磁共振成像（rs-fMRI）作为一种非侵入性技术，用于测量非结构化认知状态下的内在低频神经振荡，能够识别功能性脑网络之间的异常连接模式（Buckner, Krienen, Yeo, 2013; Chen, Yan, Jiang, Zhang, Zhao, Zhao, Zheng, Yao, Zhang, Kendrick, Jiang, 2022）。这些模式在计算检测神经精神疾病（包括自闭症谱系障碍（ASD）、重度抑郁症（MDD）和神经退行性疾病）方面显示出潜力（Dichter, 2022; Li, Chen, Kong, Li, Hu, 2022）。人工智能的最新进展推动了多种计算方法的发展，以发现用于临床前疾病识别的预测性神经影像特征（Guan, Liu, 2023; Li, Dvornek, Zhuang, Ventola, Duncan, 2018）。深度神经架构通过其从原始影像数据中自主提取诊断相关模式的能力展示了特别潜力（Fang, Wang, Potter, Liu, 2023; Li, Zhou, Dvornek, Zhang, Gao, Zhuang, Scheinost, Staib, Ventola, Duncan, 2021; Ramzan, Khan, Rehmat, Iqbal, Saba, Rehman, Mehmood, 2020）。

深度学习模型的参数密集型特性需要大量的训练数据集才能实现稳健的预测性能，而多中心神经影像研究的日益重视使得这一需求变得更加复杂（Khan, Sohail, Zahoora, Qureshi, 2020; Neyshabur, Bhojanapalli, McAllester, Srebro, 2017; Turner, Paul, Miller, Barbey, 2018; Yu, Linn, Cook, Phillips, McInnis, Fava, Trivedi, Weissman, Shinohara, Sheline, 2018）。尽管这样的合作努力扩大了数据可用性，但专家注释的资源密集型过程造成了显著的瓶颈。当前的神经影像分析框架经常因注释数据集有限而受到限制，从而影响了它们在现实世界临床环境中的应用。

对比自监督作为一种有前景的框架，已被提出用于解决多个领域的数据稀缺问题（Chen, He, 2021; He, Fan, Wu, Xie, Girshick, 2020; Misra, van der, 2020）。通过利用数据之间的内在关系而不是手动标签，这种范式在视觉模式识别、语言建模和医疗分析中显示出有效性（Chaitanya, Erdil, Karani, Konukoglu, 2020; Krishnan, Rajpurkar, Topol, 2022）。尽管取得了这些成功，但在当前的研究文献中，将对比学习策略应用于功能性神经影像数据以增强神经系统疾病诊断的应用仍然很少。

在本文中，我们提出了一个基于GIN-Transformer的成对图对比学习框架（GITrans-PairCL），用于使用rs-fMRI数据进行脑疾病诊断。如图1所示，所提出的框架包括两个关键组件：图同构网络（GIN）和Transformer的对比学习（Vaswani等人，2017）通过时间图对（DCL模型）：一个用于无监督学习的预训练模型。该架构采用级联网络，结合了使用大规模数据预训练的GIN和Transformer。具体来说，未标记的rs-fMRI数据通过滑动窗口方法对血氧水平依赖（BOLD）信号进行时间增强。增强后的图随后被输入到并行的GIN和Transformer编码器中进行特征提取，然后进行无监督的跨视图对比学习。任务驱动的微调模型（TDF模型）：一个下游任务适配模块，用于微调预训练模型以进行脑疾病诊断。这一阶段涉及对模型参数的监督优化，以符合特定的诊断目标。

实验评估包括在两个不同的脑疾病数据集上进行单站点和跨站点验证。结果表明，我们的框架在两种疾病类别中的诊断性能均优于最先进的方法，特别是在跨领域泛化能力方面具有显著优势。

本文的主要贡献如下：

1.

我们提出了GITrans-PairCL，一个通过无监督跨视图对比预训练和保持知识的迁移策略显著减少对标记数据依赖的框架。

2.

我们设计了一个双模型局部-全局协作架构，DCL模型。它结合了基于GIN的空间脑区连接性分析和基于Transformer的全局时间动态建模，实现了多尺度脑网络表示。

3.

我们在单站点、跨站点和跨数据集设置下对所提出的模型进行了评估，证明了其鲁棒性和泛化能力。

相关工作

相关研究

虽然rs-fMRI为映射脑网络异常提供了强大的基础，但由于数据稀缺，其在机器学习模型中的有效利用面临重大挑战。高昂的采集成本、大量的专家注释需求以及扫描协议和分析流程的固有跨站点异质性往往导致标记数据集有限（Cremers等人，2017）。这种数据限制进而削弱了统计功效和泛化能力

提出方法

为了解决小样本学习挑战并提高模型泛化能力，我们提出了一个结合GIN和Transformer架构的新型对比学习框架。如图1所示，我们的框架包括两个关键组件：通过时间图对的GIN和Transformer的对比学习（DCL模型）和任务驱动的微调模型（TDF模型）。以下小节提供了对该框架的详细逐步说明，以提高可重复性

材料和数据预处理

实验在两个公开可用的rs-fMRI数据集上进行，这两个数据集中选择的最大站点分别是REST-MDD数据集的站点1、20和21，以及ABIDE数据集的NYU、UM和LEUVEN站点。表1展示了研究受试者的 demographic 信息以及数据预处理过程。使用了DPARSF流程进行预处理（Yan和Zang，2010），包括切片时间校正、头部运动校正、带通滤波等

消融研究

为了严格验证我们GITrans-PairCL框架的关键组件，特别是包含GIN和Transformer架构的双分支特征提取器，我们进行了三项架构变体的消融研究：GITrans-GIN（在微调过程中冻结GIN模块参数）、GITrans-Trans（冻结Transformer参数）和GITrans-None（冻结GIN和Transformer组件）。使用REST-MDD数据集作为测试平台，模型在站点20上进行了预训练

局限性和未来工作

考虑到当前工作的局限性，有几点需要指出。首先，我们的DCL模型采用无监督图对比学习方法，从数据中学习特征表示而不需要标签信息。然而，由于样本量有限，尤其是在跨疾病任务中，其泛化能力仍然不足。其在大规模临床场景中的适用性仍不确定。其次，尽管基于GIN的双分支架构

结论

在这项研究中，我们提出了一个基于GIN-Transformer的成对图对比学习框架（GITrans-PairCL），用于使用静息态功能MRI数据进行脑疾病诊断。GITrans-PairCL包括两个关键模块：DCL模型和TDF模型。DCL模型利用无监督图对比学习策略从未标记数据中学习特征表示，其中GIN和Transformer共同用于提取从局部到全局的特征。TDF模型进行微调

CRediT作者贡献声明

周书峰：撰写——原始草稿、方法论、概念化。周丽娜：撰写——审阅与编辑、软件、数据管理。周月英：撰写——审阅与编辑。韩红艳：验证。郑红霞：可视化。乔丽山：撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

这项工作部分得到了中国国家自然科学基金（编号61976110、62476155、62176112）、山东省自然科学基金（编号ZR2024MF063）以及聊城大学畜牧学科开放项目（编号319312105-11、319462207-1）的支持。