用于脉冲神经网络的快速、基于协议驱动的设备校准的局部学习范式

【字体: 时间:2026年03月13日 来源:Neural Networks 6.3

编辑推荐:

  SADP和SCDP是新型生物启发式突触可塑性规则,基于预-突触和突触后神经元spike trains的统计一致性(Cohen’s κ和Pearson相关系数)进行权重更新,而非依赖精确spike-pair时间差。实验表明,相比传统STDP,SADP/SCDP在MNIST和Fashion-MNIST分类任务中训练速度提升一个数量级,同时保持高分类精度,且支持事件驱动硬件实现。该框架通过线性时间复杂度减少计算负担,并兼容神经形态硬件的非线性特性,为下一代神经形态系统提供高效本地化学习机制。

  
Saptarshi Bej|Muhammed Sahad E|Gouri Lakshmi S|Harshit Kumar|Pritam Kar|Bikas C. Das
印度科学教育与研究学院数据科学学院,蒂鲁瓦南塔普兰

摘要

我们提出了基于突触脉冲一致性的可塑性模型Spike Agreement Dependent Plasticity (SADP)及其基于相关性的变体Spike Correlation Dependent Plasticity (SCDP),这些模型为脉冲神经网络(SNNs)提供了生物启发的学习规则。与传统基于脉冲时序的可塑性模型(STDP)不同,SADP和SCDP关注的是突触前后的脉冲序列之间的匹配程度,而非精确的脉冲对时序。SADP通过用群体层面的匹配度量Cohen的κ替代成对的时序更新来泛化STDP,而SCDP则使用原始的皮尔逊相关系数来捕捉脉冲的协同发射强度。这两种模型都具有线性时间复杂度,并且可以通过事件驱动的位逻辑实现高效的硬件加速。在MNIST和Fashion-MNIST数据集上的实证评估表明,SADP和SCDP比传统的STDP学习判别特征的速度更快,且在训练时间减少一个数量级的情况下仍能保持较高的分类准确率。虽然本研究仅通过软件模拟在单层网络上验证了这些模型的有效性,但我们的结果表明,基于一致性的可塑性框架是一种快速且局部的学习机制,原则上可以应用于神经形态学系统。这一框架弥合了生物学合理性与计算效率之间的差距,为下一代神经形态系统提供了一种可行的无监督学习方法,并有望扩展到有监督的学习场景。

引言

基于脉冲时序的可塑性(STDP)长期以来一直是突触学习的基础模型,其理论基于赫布原理(Hebbian principle),即因果相关的脉冲会增强突触强度(Bi和Poo,1998年;Markram等人,1997年)。当突触前神经元在突触后神经元之前放电时,会发生长时程增强(LTP);如果顺序相反,则会发生长时程抑制(LTD)。这种成对机制得到了大量实验证据的支持,并已被成功用于脉冲神经网络(SNNs)的学习模型(Bi和Poo,2001年;Sj?str?m等人,2001年)。基于STDP的无监督学习方法也被证明能够有效地从自然场景中提取视觉特征(Ferré等人,2018年;Kheradpisheh等人,2016年;Masquelier和Thorpe,2007年)。当这些模型与竞争性抑制或卷积层结合使用时,在MNIST、CIFAR-10和ETH-80等分类基准测试中表现出色。
尽管STDP在生物学上具有合理性,但在计算环境中存在两个主要限制。首先,它依赖于毫秒级的脉冲时序精度,这在嘈杂的环境中(如大脑皮层)难以实现和维持(Markram、Gerstner、Sj?str?m,2011年;Markram、Gerstner、Sj?str?m,2012年)。其次,其成对性质导致计算复杂度为二次方(见附录A),因为它需要评估所有突触前后的脉冲配对。这些限制影响了模型的可扩展性和鲁棒性,尤其是在深度或实时神经形态系统中(Tian等人,2025年)。
为了克服这些限制,最近的研究开始将更高阶的特征和群体层面的信息纳入突触可塑性模型。值得注意的是,实证发现表明,即使在没有直接脉冲对因果关系的情况下,协调的脉冲活动或神经元同步性也在有效的突触修饰中起着关键作用(Becker等人,2025年;Tian等人,2025年)。这促使人们开发了基于脉冲同步性的可塑性模型(SSDP),它通过根据神经元群体之间的同步程度来调整权重更新(Tian等人,2025年),从而提高了学习稳定性并更好地反映了生物学上的可塑性特征。
在此基础上,我们提出了一组基于一致性的可塑性规则,包括Spike Agreement-Dependent Plasticity (SADP)及其基于相关性的变体Spike Correlation-Dependent Plasticity (SCDP)。这两种模型都将突触可塑性重新定义为脉冲序列一致性的函数,而非精确的脉冲时序。SADP使用Cohen的κ来衡量突触前后活动的校正后一致性,而SCDP使用原始的皮尔逊相关系数来捕捉脉冲的协同发射强度。这种区别使SADP在脉冲发射稀疏的情况下仍能保持稳定性,而SCDP则更能适应模拟设备的非线性特性,共同构成了一个基于一致性的通用学习框架。
SADP和SCDP通过消除成对的脉冲比较来减少计算负担,实现了适合事件驱动硬件实现的线性时间更新。从生物学角度来看,SADP符合当前对可塑性的理解,即它不仅受脉冲时序的影响,还受到膜动态、神经调节剂和群体活动模式的影响(Clopath等人,2010年;Foncelle等人,2018年;Pfister和Gerstner,2006年)。其与多种可塑性特征的兼容性使其成为神经形态系统中快速、高效、可解释且局部学习的理想候选者。
SADP代表了超越STDP和SSDP的概念性和实践性进展:它以生物学为基础,并在计算上可行,为下一代在实际环境中运行的脉冲神经网络奠定了基础。
我们的主要贡献在于概念上的创新:我们将突触学习重新定义为脉冲序列对齐的函数,实现了稳健且生物学上合理的学习机制,适用于嘈杂、由群体驱动的神经动态环境。与以往将新学习规则与复杂网络架构或任务特定修改相结合的方法不同,我们的方法不依赖于特定架构,并且与标准的脉冲神经元模型兼容。因此,这项工作不仅为脉冲驱动的学习提供了新的视角,还为其在神经形态学和生物学背景下的稳定性和适用性提供了数学上的严谨基础。在第2节中,我们将详细讨论STDP的历史以及向基于脉冲同步性的可塑性(SSDP)发展的最新研究方向。随后,在第3节中我们将详细介绍我们的SADP方法。
本研究的位置
需要强调的是,这项工作并不声称能够立即在硬件上实现或进行深度多层扩展。我们的目标是引入SADP和SCDP作为原理性的局部可塑性规则,这些规则能够提高学习速度和鲁棒性,同时为未来的硬件实现做好准备。目前的实验仅限于单层网络和基于软件的模拟,作为概念验证。
在本研究中,没有直接在神经形态学芯片上执行任何算法。我们的工作硬件部分包括从离子晶体管中提取增强/抑制响应,并将其纳入经过设备校准的SADP或SCDP内核中。设备校准指的是根据物理设备的实验测量导电性调制曲线直接参数化学习内核。这种校准确保了模拟的可塑性动态能够真实反映底层硬件的非线性和不对称行为,从而在算法学习规则和设备物理之间建立了原则性的桥梁。这应被视为设备校准的验证,而非实际部署。
与依赖于同步性的可塑性不同,后者通过集合时序来调整STDP,SADP和SCDP完全放弃了因果关系,而是分别采用Cohen的κ和皮尔逊相关系数等统计一致性指标来捕捉时间窗口内的协同激活。这种概念上的转变既保证了统计上的鲁棒性,又实现了设备特定内核非线性的直接整合,这是以前未曾探索过的组合。
主要贡献 本工作的关键贡献总结如下:
  • 1.
    我们提出了一组无监督学习规则SADP和SCDP,它们根据突触前后脉冲序列之间的统计一致性来调整权重更新,分别使用Cohen的κ和皮尔逊相关系数。
  • 2.
    我们为这些规则引入了一种灵活的内核化表述方式,允许通过样条插值高效实现特定于设备的权重更新曲线,使规则与新兴的基于晶体管的神经形态硬件高度兼容。
  • 3.
    我们在无监督图像分类任务(MNIST和Fashion-MNIST)上对这些规则进行了实证验证,证明它们在多种编码方案和网络配置下比传统的STDP具有更好的性能和鲁棒性。
  • 部分摘录

    赫布学习(Hebbian Learning)的背景

    赫布学习规则通常被概括为“一起放电的细胞会连接在一起”(Hebb,1949年),它根据突触前后神经元的同时活动来更新突触权重。在经典形式中,赫布可塑性通过以下公式更新突触权重wijΔwij=η·xi·yj其中xiyj分别代表突触前后的脉冲活动(或频率),η是学习率。当应用于时间延长的脉冲序列时,这对应于一个点

    基于脉冲一致性的可塑性(SADP)和基于脉冲相关性的可塑性(SCDP)

    我们现在将在基于泄漏积分-发射(LIF)动态的简单SNN上描述这种新的SADP学习范式。该网络处理编码为编码(速率编码或其他形式,如突发编码)的脉冲序列,在固定数量的离散时间步长T内进行处理。每个输入样本表示为一个3D张量XRB×Nin×TXRB×Nin×T
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号