基于Hessian信息的残差对齐方法在异构对比图聚类中的应用

《Knowledge-Based Systems》：Hessian-Informed Residual Alignment for Heterogeneous Contrastive Graph Condensation

　　

周辉 | 任博阳 | 赵忠英 | 龙茂国

摘要

图神经网络（GNNs）在处理各种图结构数据时表现出色。然而，由于计算和内存需求较高，尤其是对于具有多种组成类型和稀缺标签的异构图，将其扩展到大规模图变得具有挑战性。为了解决这一挑战，我们提出了基于Hessian信息的残差对齐异构对比图压缩（H2C-GCond）框架。该框架能够在保留关键结构特性的同时，合成紧凑且高度代表性的图，从而支持有效的GNN训练。该框架包括：（1）一种三步梯度对齐策略，根据学习进度动态优先处理关键层和参数；（2）通过Hessian向量积增强残差梯度细化，以融入二阶优化思想；（3）结合梯度对齐的多视图学习的层相关正交参数初始化器，以提高压缩的鲁棒性。在节点分类和泛化任务上的广泛实验表明，H2C-GCond在多个数据集上的表现均优于现有的最佳基线方法（包括GCond和HGCond）。值得注意的是，在0.5%的压缩率下，H2C-GCond在DBLP和IMDB数据集上的性能几乎与全规模图训练相当，同时大幅降低了计算开销。