一种轻量级的双视图网络，用于沙尘污染图像的增强处理

《Knowledge-Based Systems》：A Lightweight Dual-View Network for Sand-Dust Degraded Image Enhancement

图神经网络提示学习中的多视角专家聚合机制研究。提出MGGP框架，通过构建多组语义不同的提示向量，结合动态加权专家聚合机制，有效提升图神经网络的任务适应性和泛化能力，在多个基准数据集上的实验验证了其优越性。

　　

罗卓峰|黄欣妍|何润凯|杨亚明

西安电子科技大学计算机科学与技术学院，中国西安710071

摘要

提示学习最近在增强图神经网络（GNNs）方面显示出了巨大潜力，它通过实现高效的任务适应性和更好的泛化能力来提升网络性能。然而，现有方法通常使用单一提示，这限制了它们在多样图任务中的表达能力和适应性。为了克服这一限制，我们提出了多组图提示（MGGP）框架，该框架引入了多个可学习的提示组，在GNN内部协同工作以捕获多样化的语义模式和任务线索。为了有效整合这些提示组的多样化输出，我们进一步设计了一个专家引导的聚合机制。这个专家模块动态地权衡并组合每个组的预测结果，作为一个元推理器，以任务感知的方式选择和整合信息，显著优于简单的聚合策略（如投票或平均）。在完全监督和少样本设置下的各种节点和图分类基准测试中进行的广泛实验表明，MGGP实现了更高的准确性和鲁棒性。我们的方法为现有的图提示学习方法赋予了多视角推理能力。

引言

图神经网络（GNNs）是从图结构数据中学习的强大工具，应用于社交网络[1]、分子[2]、推荐系统[1]等领域。通过迭代消息传递[4]，GNNs能够捕获节点和图分类等任务的局部和全局模式。

尽管取得了成功，但大多数GNNs仍然依赖于监督学习，这需要大量的标记数据才能获得良好的性能[5]、[6]。然而，在现实世界场景中，尤其是生物学或社交网络领域，标记数据往往成本高昂或稀缺，这阻碍了在标签稀疏场景下的泛化。为了缓解这一问题，预训练然后微调的范式越来越受到关注[7]、[8]，其中GNNs首先在大规模未标记图上进行预训练以学习通用表示，然后在下游任务上进行微调。尽管这种方法提高了可迁移性并减少了对标记数据的依赖，但在微调过程中仍然需要更新模型参数，这引入了额外的训练成本和过拟合的风险，特别是在下游数据有限的情况下。

最近，在自然语言处理（NLP）研究领域，基于提示的学习[9]、[10]作为传统预训练和微调范式的有吸引力的替代方案出现。它不是更新模型参数，而是使用轻量级的、特定于任务的指令（称为提示）来指导预训练模型。除了简单的单提示模板之外，NLP社区还探索了越来越多的多提示或提示集成技术，例如将一些提示链接成链进行推理[11]，并基于这种思维链开发多个思维链以使预测结果更加一致[12]。这些工作表明，利用多个提示路径可以显著提高鲁棒性、推理可靠性和任务泛化能力。

受到这些进展的启发，提示学习也被扩展到GNNs[13]，其中可学习的提示嵌入被注入到节点或图表示中。直到最近，大多数现有的图提示学习方法[13]、[14]、[15]、[16]、[17]、[18]、[19]、[20]、[21]、[22]、[23]、[24]、[25]、[26]、[27]、[28]、[29]、[30]、[31]都遵循单组范式，即共享的提示嵌入（或一组固定的基础提示）被均匀应用于所有节点或图。代表性的例子包括通用图提示设计，如GPF[18]，它创建了一个提示空间并使用多个提示的线性组合进行提示处理，以及All-in-One[19]，它将单一的结构模式插入图中以形成统一的提示。尽管这些方法简单且参数效率高，但依赖于单一提示组会引入严格的全局归纳偏差，并限制了模型捕捉图语义多方面的能力。在图1中，我们给出了一个关于论文评审的玩具示例来说明我们的想法。如图1(a)所示，使用单一组的图提示类似于编辑只咨询一位审稿人来评估手稿，这可能导致偏见或不完整的视角。在现实世界的图中，通常包含重叠的社区、层次结构[32]或多关系子图，这样的单组设计成为表达能力和泛化的瓶颈。

为了解决这些限制，并将我们的方法与之前的方法（如图Prompt[33]和All-in-One[19]）区分开来，我们提出了多组图提示（MGGP）框架。MGGP明确地将提示分为多个组，每个组作为一个独立的语义视角。如图1(b)中的玩具示例所示，使用多组图提示类似于编辑咨询多位审稿人来评估手稿，这是一种更全面的方式。这种多组设计引入了推理路径的多样性，使MGGP能够捕捉比单组图提示更丰富、更细致的语义线索。

除了引入多个图提示组之外，我们的MGGP还通过结合一个专门的专家引导的聚合机制来整合组级输出，从而进一步区分自己。现有方法通常基于投票策略[12]来聚合来自不同思维链的预测结果。不同之处在于，我们的聚合过程明确由预训练GNN中包含的通用知识指导。具体来说，我们从无提示注入的前向传递中获得一个通用嵌入，并用它作为一个通用专家来评估每个组输出的可信度。这个通用专家充当元推理器，根据组-上下文兼容性分配注意力权重。我们的通用专家模块类似于图1(b)中的编辑角色，它允许我们的MGGP框架选择性地强调信息丰富的推理路径并抑制无关的路径，从而在少样本或噪声标签场景中实现更鲁棒和适应性更强的提示学习。

总结来说，本文做出了以下关键贡献：

• •
  我们提出了MGGP，这是一个新颖的基于提示的图学习框架，通过引入多个可学习的提示组来打破单提示推理的局限性，实现多视角和语义多样的推理。
• •
  我们设计了一个通用专家模块来指导多个提示组的聚合。它使用通用嵌入自适应地权衡每个提示组的输出，使模型能够做出明智且连贯的预测。
• •
  我们将提出的框架应用于多种最先进的图提示学习方法，并在几个真实数据集上进行了广泛的实验。实验结果表明，我们提出的MGGP框架可以有效提升下游任务的性能。

相关工作

相关工作

图预训练 图预训练旨在通过自我监督学习[34]从大规模未标记数据中学习可迁移的节点或图表示。常见的预训练策略包括对比学习[8]、[35]、[36]、生成建模[7]、[37]、掩码自动编码器[37]和结构聚类[34]。这些方法通常首先在通用任务（例如节点上下文预测或子结构恢复）上预训练一个骨干GNN，然后在下游任务上进行微调

初步介绍

在本节中，我们定义了整篇论文中使用的关键符号，并正式描述了问题设置。

图 图被定义为$G=(V,E$，其中$V$是节点集，是边集。每个节点$v\in V$都与一个特征向量$x_v\in R^d$相关联。因此，所有节点的特征可以表示为一个特征矩阵$X\in R^{\left|V\right|\times d}$。

图预训练 设 f_θ(?·?) 是一个由 θ 参数化的GNN编码器，它通过自我监督任务在大规模未标记图上进行训练（例如，

方法论

在这项工作中，我们提出了一个新颖的框架，即多组图提示MGGP，它使用一个通用专家引导的聚合机制来整合多个提示组，从而增强预训练的GNNs。如图2所示，我们的框架包括三个主要阶段：（1）构建多个提示向量组，（2）通过组特定提示生成多视角表示，以及（3）使用学习到的基于注意力的聚合来整合这些输出

实验

我们在几个基准数据集上评估了我们提出的MGGP在节点级和图级分类任务上的性能。我们还进行了消融和超参数研究，以分析每个组件的有效性。

结论

在这项工作中，我们提出了多组图提示（MGGP），这是一个新颖的图提示学习框架，它引入了两项关键创新技术，即多组提示机制和专家引导的聚合机制。与依赖于固定共享提示空间的现有单组提示方法不同，MGGP将提示划分为语义多样化的组，每个组捕获不同的归纳偏差或结构先验。这些组分别应用，然后

CRediT作者贡献声明

罗卓峰：写作——审阅与编辑，写作——原始草稿，方法论，形式分析，数据整理，概念化。黄欣妍：监督。何润凯：形式分析，数据整理。杨亚明：写作——审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

这项工作部分得到了中央高校基本研究基金（项目编号ZYTS25211和ZYTS25086）的支持，部分得到了国家自然科学基金（项目编号62303366）的支持，以及陕西省重点研发计划（项目编号2025CY-YBXM-041）的支持。