编辑推荐：
随机共振与Ising模型结合的图学习框架RIM4G提出，通过spin动力学编码节点表示，整合图拓扑与输入特征，在七个节点分类任务中表现与GNN/Transformer相当且更适用于神经形态硬件。
Maria Grazia Berni|Antonio Brau|Alessio Micheli|Domenico Tortorella
比萨大学计算机科学系，Largo Bruno Pontecorvo 3，比萨，56127，意大利
摘要
在引用网络、社交媒体和电子商务等领域，图结构数据的规模和复杂性不断增加，这暴露了传统图学习模型（如图神经网络（GNNs）和图变换器（GTs）的计算局限。水库计算（RC）通过将训练复杂性与模型表达能力解耦，提供了一种有前景的替代方案，图回声状态网络（GESNs）就证明了这一点。然而，基于冯·诺伊曼架构的传统RC实现由于内存和数据处理的分离而面临瓶颈。新兴的神经形态平台——如FPGA、自旋电子学和忆阻器——为可扩展的图学习提供了低功耗、高吞吐量的解决方案。在这项工作中，我们介绍了基于随机伊辛模型的图表示方法（RIM4G），该方法通过由Lenz–Ising模型控制的自旋动态来编码节点表示。RIM4G通过自旋耦合和外部磁场分别整合了图拓扑结构和输入特征，并使用Metropolis采样进行模拟，具有理论上的收敛保证。在七个基准节点分类任务上的评估表明，RIM4G的准确性与GESNs以及完全训练的GNNs和GTs相当。我们的分析强调了RIM4G对热噪声的鲁棒性及其对稀疏水库矩阵的偏好，表明其适用于未来在非传统硬件上的部署。
引言
图结构数据的快速增长和学习模型的复杂性增加揭示了现有图表示方法的计算局限。涉及论文引用、网页链接、社交媒体互动和购物平台共同购买等的学习任务需要能够处理大规模图并提取有意义结构模式的方法[1]。基于迭代邻域聚合的传统图神经网络（GNNs）在节点分类任务上取得了显著进展，它们学习了同时利用属性和连接信息的表示[2]、[3]。图变换器（GTs）超越了局部消息传递的限制，提高了表达能力并捕捉了长距离关系。然而，它们对全局注意力机制的依赖加剧了GNNs已存在的可扩展性和部署挑战，包括大量的内存需求、高参数数量以及对超参数和训练设置的敏感性。特别是GNNs和GTs，在节点数量增加时难以扩展，因为邻域聚合和全局注意力会迅速增加计算和内存成本，使得在更大图上的训练和推理变得困难[4]。
随着图数据集和模型架构的扩大和复杂化，探索在计算成本和模型准确性之间提供更好权衡的替代范式变得至关重要。水库计算（RC）是一种设计高效神经模型的范式。它利用了随机初始化的递归神经网络的动态丰富性，同时通过保持随机水库权重固定并仅训练简单的读出层来最小化训练复杂性[5]。基于水库的图模型，如图回声状态网络（GESN）[6]，已被证明可以在广泛的学习任务中显著降低训练和推理的计算成本，而不影响准确性。这些任务包括图分类[7]、节点分类[8]、网络量化[9]以及时间图[10]。
然而，将水库实现限制在基于冯·诺伊曼架构的传统计算硬件上会由于内存访问和处理的分离而产生瓶颈[11]。神经形态计算旨在通过设计新型计算设备来克服这些限制，这些设备可以更快地处理越来越多的数据，并且功耗低[12]。最近出现了非传统平台，包括现场可编程门阵列（FPGAs）[13]、基于自旋电子学的系统[14]和基于忆阻器的系统[15]。这些架构减少了计算负担，为在资源受限环境中高效运行的可扩展AI系统铺平了道路。
在各种非传统硬件设计中，Lenz–Ising模型被提出用于解决图上的组合问题[16]、[17]。[18]、[19]。已经提出了物理实现方案，包括基于忆阻器的[20]和基于自旋电子学的[21]设备。
采用硬件和水库模型的协同设计视角[22]，我们提出了基于随机伊辛模型的图表示方法（RIM4G），该方法使用Lenz–Ising模型的自旋动态来生成适合学习任务的节点表示。基于我们关于RIM4G利用拓扑信息的初步结果[23]，在这项工作中，我们扩展了该模型以处理输入节点特征，使其能够解决现实世界的节点分类任务。我们的实验分析不仅限于特定的硬件实现，而是关注RIM4G作为一类通用模型的有效性。我们确定了其在节点分类上的准确性是否与之前的基于水库的模型（GESNs）和完全训练的图学习模型（GNNs和GTs）相当，将RIM4G的物理实现探索留给未来的工作。
本文的其余部分结构如下。第2节我们简要回顾了完全训练的和基于水库的节点分类模型。第3节介绍了伊辛模型的一般概念，第4节介绍了RIM4G，并证明了其节点表示收敛的条件。第5节我们在7个节点分类任务上评估了所提出的模型，第6节分析了水库设计和热噪声的影响。最后，第7节讨论了物理实现的观点，第8节得出结论。
节选内容
节点分类的学习模型
设表示一个图，其节点集为，边集为，节点特征矩阵为，其中是节点特征的维度，标签矩阵为，是类别的数量。设为邻接矩阵。（半）监督节点分类任务的目标是从带有已知标签的标记节点子集中学习一个模型。该模型利用输入特征和编码在中的图结构来推断剩余未标记节点的未知标签。用于
自旋相互作用的伊辛模型
Lenz–Ising模型[16]、[17]是统计物理学中描述铁磁性的基础模型。它考虑了称为自旋的二元变量或，这些自旋代表磁偶极矩。自旋受到其他相互作用自旋的磁场和外部磁场的影响。在最简单的设置中，自旋相互作用的底层图是一个具有周期性局部结构的规则晶格，但该公式可以自然扩展到任意拓扑。
用于图节点表示的随机伊辛模型
我们提出使用伊辛模型的自旋配置来编码图中的节点表示。我们将一组自旋与每个图节点关联起来，作为其表示。我们使自旋组之间的相互作用依赖于输入图的拓扑结构，而每个组内的相互作用则由遵循水库范式的随机耦合决定。节点输入特征通过外部磁场注入。为此，我们定义了
实验评估与讨论
为了评估RIM4G在其节点表示中编码有用信息的能力，我们在几个节点分类任务上评估了该模型的准确性。特别是，我们将它的准确性与其他图学习模型（第5.1节）和其他拓扑编码模型（第5.2节）进行了比较。所有以下实验都是在零热力学状态下使用RIM4G进行的，因此处理的嵌入是系统的稳态配置
对热噪声的鲁棒性
为了评估RIM4G适用于硬件实现的程度，我们分析了其在高于热力学零点的温度下的性能。为了不对伊辛模型的特定物理实现产生偏见，我们使用无量纲单位，通过设置玻尔兹曼常数，使得。这种选择有效地将温度重新缩放到与能量相同的单位，消除了不必要的常数，允许直接比较热噪声和相互作用能量。
RIM4G的物理实现
由于几个NP难题可以通过寻找伊辛模型的能量最小值来重新表述[35]，文献中探索了设计具有可编程自旋耦合的非传统硬件的不同方法[56]。在本节中，我们回顾了一些可能适用于RIM4G实现的方法，这些方法根据自旋的实现方式有所不同。
结论
在这项工作中，我们介绍了基于随机伊辛模型的图表示方法（RIM4G），作为水库计算领域的一种新型模型。图节点被编码为自旋配置的能量最小值状态，其中伊辛自旋耦合由输入图拓扑和随机水库连接决定，输入特征通过外部磁场注入。我们没有专注于特定的物理实现，而是将RIM4G作为一个通用模型进行了分析
CRediT作者贡献声明
Maria Grazia Berni：撰写 – 审稿与编辑，撰写 – 原稿，软件，研究，概念化。Antonio Brau：撰写 – 原稿，软件，方法论，研究，概念化。Alessio Micheli：撰写 – 审稿与编辑，验证，监督，项目管理，方法论，资金获取，概念化。Domenico Tortorella：撰写 – 审稿与编辑，撰写 – 原稿，验证，软件，方法论，研究，
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
研究部分得到了以下项目的支持：PNRR，PE00000013，“FAIR - 未来人工智能研究”，由欧盟委员会在NextGeneration EU计划下资助；DEEP-GRAPH项目，由意大利大学和研究部资助，PRIN 2022（项目代码：2022YLRBTT，CUP：I53C24002440006）；PAN-HUB项目，由意大利卫生部资助（POS 2014–2020，项目ID：T4-AN-07，CUP：I53C22001300001）。
