《Neurocomputing》：STAR-SNN: A Spatio-Temporal Adaptive Recurrent Spiking Neural Network with Separated Propagation Surrogate Gradient for Hardware Efficient Real-Time Learning
编辑推荐：
提出STAR-SNN结合SPSG学习规则，在截断BPTT(K=1)框架下优化空间-时间自适应参数，解决长序列依赖和硬件效率的平衡问题，应用于混沌系统预测和动态视觉传感器手势识别，实现高精度和低资源消耗。
作者：Hojae Choi, Jaewook Kim, Jongkil Park, Seongsik Park, Hyun Jae Jang, Seung Hwan Lee, Byeong-Kwon Ju, YeonJoo Jeong
韩国科学技术院（KIST）半导体技术中心，首尔 02792，大韩民国
摘要
时间反向传播（BPTT）能够有效训练循环脉冲神经网络（R-SNN），但计算和内存成本较高，限制了其实时应用。为了降低资源需求，我们采用了截断BPTT（K=1），将内存成本降低了三个数量级。然而，这种截断通过限制梯度传播削弱了序列学习能力。为了解决这个问题，我们引入了时空自适应循环脉冲神经网络（STAR-SNN），该网络通过自适应参数来增强高维表示，并在截断的情况下有效保留序列信息。此外，由于权重更新过程中脉冲生成和抑制的相互影响，R-SNN的训练过程存在不稳定问题。为了解决这一问题，我们开发了分离传播替代梯度（SPSG）方法，该方法通过选择性传播误差信号来分离这两个过程，从而稳定学习过程并提高收敛速度。我们的方法在混沌系统预测中实现了393倍的均方误差（MSE）损失降低，并在事件驱动的DVS手势识别任务中表现出高性能，为实时神经形态计算提供了一个可扩展且硬件效率高的框架。
引言
反向传播（BP）算法[1]的出现推动了人工神经网络（ANN）在各个应用领域的进展。循环神经网络（RNN）能够捕捉序列数据中的时间特征，使ANN的功能在时间上得到扩展，从而实现未来预测和语言处理等任务。受生物系统启发的脉冲神经网络（SNN）使用基于事件的脉冲作为激活机制，使其特别适合用于神经形态硬件[2][3][4]。作为第三代神经网络[5]，它们的稀疏、事件驱动的计算方式既提高了硬件效率[6]，又实现了实时处理[7]。尽管具有这些优势，但由于脉冲特性，训练SNN仍然具有挑战性。虽然采用了基于生物学的学习规则（如脉冲时序依赖性可塑性[8][9]和脉冲速率依赖性可塑性[10]），但其准确性有限。在循环脉冲神经网络（R-SNN）[12]中使用可微替代梯度[11]使得BPTT[13][14]成为可能，从而显著提升了性能。然而，BPTT由于其离线学习特性以及处理较长序列时增加的内存和计算需求，在硬件效率方面存在挑战。为了解决这些问题，人们研究了在线学习方法，如实时循环学习（RTRL）[15]及其衍生或近似变体，如在线时空学习（OSTL）[16][17]和资格传播（E-prop）[18][19]。尽管这些方法在减少延迟和实现实时适应方面具有优势，但它们仍然需要大量的计算和内存资源来处理时空梯度。截断技术（如截断BPTT[20]）也被用来降低计算和内存负担，但由于忽略了训练过程中的历史影响，因此准确性会受到影响。在这里，我们探索了截断BPTT的极端版本，即K=1的TBPTT，因为这种对硬件友好的方法简单，不需要在序列的每个时间步存储梯度计算和更新，从而实现在线学习。
我们的研究重点是在使用TBPTT（K=1）方法的同时提高R-SNN的准确性，从而开发出既具有硬件效率又高性能的网络。许多报道的R-SNN主要采用了基本的神经元模型，即泄漏积分-发射（LIF）[21][22]。该神经元模型主要包括三个操作：（1）将输入脉冲积分形成膜电位；（2）积分电位的自发衰减；（3）由阈值和序列重置过程控制的输出脉冲。重要的是，衰减和重置操作中的非线性过程使R-SNN能够学习序列输入中的时间特征，而循环连接进一步增强了R-SNN的能力，将空间和时间空间交织在一起，形成极高维的表示。液态时间常数脉冲神经网络（LTC-SNN）[23]提出了一种先进的神经元模型，其中电位衰减和阈值是可学习参数。通过学习这些时间参数，网络能够优化处理给定序列输入的时间动态。尽管LTC-SNN有效改善了时间动态，但它并未完全解决影响神经元模型动态的所有方面。在这里，我们开发了时空自适应循环脉冲神经网络（STAR-SNN），它优化了整个神经元操作（1）-（3）中涉及的空间、时间和时空动态。具体来说，STAR-SNN引入了三个时空自适应参数：空间适应（SA）、时间适应（TA）和时空适应（STA）。因此，STAR-SNN能够利用更丰富的时空动态，更精确地表示复杂的非线性模式。
此外，我们还致力于提高SNN在权重更新过程中的稳定性，因为这些更新直接影响网络性能。精确的脉冲时序对于有效学习序列数据至关重要。然而，在R-SNN中，由于权重等共享参数的存在，脉冲时序和频率高度相关，使得有效控制单个脉冲变得困难。在训练过程中，神经元会学习在目标脉冲序列的时间生成脉冲，但由于共享权重，权重更新也可能在不适当的时间产生脉冲。同样，抑制这些不必要的脉冲可能会无意中移除必要的脉冲，从而导致产生必要脉冲和抑制不必要脉冲的无限循环，从而阻碍网络收敛。为了解决这种不稳定性，我们提出了一种选择性参数更新方法，该方法明确区分控制脉冲生成过程的参数和抑制不必要脉冲的参数。传统的训练方法同时更新所有参数，使得这种分离变得困难。有趣的是，分离传播替代梯度（SPSG）通过根据脉冲发生情况选择性地调整参数更新，自然地解决了这一挑战，从而防止了脉冲生成和抑制之间的干扰。通过这一过程，SPSG稳定了学习过程，促进了高效收敛，并提高了序列数据预测的准确性。
我们在多个具有挑战性的时间序列任务中评估了STAR-SNN和SPSG的有效性。时间序列预测，特别是对于混沌系统，由于其长序列依赖性和固有的非周期性，是一个重大挑战[24]。为了展示我们模型的性能，我们将其应用于Lorenz系统[25][26]和Mackey-Glass时间序列[27]（这两个都是著名的混沌系统[28]）。这两个系统特别具有挑战性，因为需要准确预测Lorenz系统中的三个相互依赖的轴，以及Mackey-Glass时间序列中的延迟反馈动态。我们的结果表明，STAR-SNN模型通过添加可学习参数来扩展时空维度，并引入新的替代梯度SPSG，有效捕捉了复杂的时间序列模式，从而增强了网络稳定性。此外，我们还使用STAR-SNN和卷积层[30]及残差连接[31]测试了该模型对真实世界DVS手势脉冲数据集[29]的分类能力，形成了残差-卷积-脉冲神经网络（RCS-Net）。即使在较大的网络规模和测量数据集的情况下，所提出的网络仍能以高效的方式捕捉到共同特征，使用了TBPTT（K=1）。
部分摘录
BPTT的背景和局限性
如上所述，BPTT中使用的替代梯度（SG）技术使得R-SNN的训练成为可能（图1(a)）。然而，BPTT也存在缺点，包括在内存和计算方面的显著硬件开销，以及其仅支持离线学习的限制。虽然开发了OSTL和E-prop等替代方法来进行局部和在线权重更新，但它们仍然需要在每个时间步计算和更新资格迹，这继续增加了计算负担
结果
为了实证验证所提出的STAR-SNN模型及其学习规则SPSG，我们在多个基准测试中进行了全面实验。评估内容包括混沌系统预测、自适应参数和替代梯度的消融分析、多对多序列分类以及使用动态视觉传感器（DVS）数据的事件驱动手势识别。
结论
本研究介绍了时空自适应循环脉冲神经网络STAR-SNN及其补充学习规则SPSG，形成了一个在截断BPTT（K=1）下实现高效硬件学习的统一框架。该模型使用三个自适应参数——SA、TA和STA——动态调节空间、时间和跨维度依赖性，从而即使在没有长距离梯度的情况下也能丰富内部动态。
SPSG学习规则进一步提升了训练效果
CRediT作者贡献声明
YeonJoo Jeong：撰写——审稿与编辑、监督、概念化。Jongkil Park：方法论、形式分析、数据管理。Seongsik Park：验证、资源管理、数据管理。Hojae Choi：撰写——初稿撰写、验证、软件开发、方法论研究、概念化。Jaewook Kim：验证、资源管理、数据管理。Hyun Jae Jang：验证、方法论研究、形式分析。Seung Hwan Lee：撰写——审稿与编辑、概念化。Byeong-Kwon Ju：撰写——审稿
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文的研究结果。
致谢
本工作得到了韩国科学技术院（KIST）（项目编号2E33560和2V10810）和韩国政府国家科学技术委员会（NST）（编号GTL24041-000）的资助。
HOJAE CHOI毕业于韩国首尔光云大学，获得电子生物物理学学士学位。他目前正在韩国大学攻读电气工程硕士/博士学位，并曾担任韩国科学技术院（KIST）的学生研究员。他的当前研究兴趣包括脉冲神经网络、循环神经形态系统的替代梯度学习，以及硬件-算法协同设计。
