NG-SNN：一种受神经发生机制启发的动态自适应框架，用于高效实现脉冲信号分类

《Neural Networks》：NG-SNN: A Neurogenesis-Inspired Dynamic Adaptive Framework for Efficient Spike Classification

神经发生受启发脉冲神经网络（NG-SNN）通过动态增量神经元整合和活动依赖型非迭代权重学习，解决了现有SNN分类器结构僵化与训练低效问题，在标准数据集上验证了其高效性、紧凑性与优越性能。

　　

Jing Tang|Depeng Li|Zhenyu Zhang|Zhigang Zeng

机构：华中科技大学人工智能与自动化学院，地址：430074，武汉，中国

摘要

脉冲神经网络（SNNs）专为低功耗神经形态计算而设计。一种广泛采用的混合范式将特征提取与分类分离，以提高生物学合理性和模块化。然而，这种分离将决策过程集中在下游的分类器中，在许多系统中，这成为准确性和效率的限制因素。预设的固定拓扑结构要么导致冗余，要么容量不足，而替代梯度训练在计算上仍然成本高昂。生物神经发生是大脑通过适应性地添加新神经元来构建高效、特定任务电路的机制。受这一过程的启发，我们提出了基于神经发生的脉冲神经网络（NG-SNN），这是一个动态自适应框架，通过两项关键创新来解决这些问题。首先，我们引入了一种监督式的增量构建机制，根据贡献标准选择性地集成神经元，从而动态生成任务最优的结构。其次，我们设计了一种基于活动的分析学习方法，用单次计算和自适应权重更新替代了迭代优化，极大地提高了训练效率。因此，NG-SNN独特地将动态结构适应性与高效的非迭代学习相结合，形成了一个自组织和快速收敛的分类系统。此外，这种由神经发生驱动的过程使NG-SNN具有高度紧凑的结构，所需的参数数量显著减少。广泛的实验表明，我们的NG-SNN在各种数据集上与竞争对手相当或表现更好，且无需迭代训练和手动架构调整的开销。

引言

近年来，深度神经网络（DNNs）取得了显著突破。然而，它们对大规模标记数据的依赖、巨大的能耗（Strubell等人，2020年）以及由于与生物信息处理的差异而导致的可解释性有限，阻碍了进一步的发展。为了克服这些问题——尤其是能源瓶颈——研究人员越来越关注受生物学启发的脉冲神经网络（SNNs）。作为第三代神经网络（Schuman等人，2022年），SNNs提供了事件驱动的计算、时空编码和固有的低功耗潜力。利用离散的脉冲，SNNs模仿了生物神经元的动态特性，在复杂的时间处理和节能的神经形态计算方面显示出巨大潜力（Eshraghian等人，2023年）。

为了在复杂的分类任务中实现最先进的（SOTA）性能，当前主流的SNN训练方法主要依赖于基于反向传播（BP）的全局优化算法（Dampfhoffer等人，2023年）。这些方法成功地将成熟的梯度反向传播机制应用于SNNs，通过引入替代梯度（SG）等技术来实现这一点，这些技术近似了不可微分的脉冲发射过程，并使得深度网络能够端到端优化（Lee等人，2020年）。与这种端到端训练方法并行的是另一种极具影响力的混合架构范式，它将SNN系统分为两个独立阶段：特征提取和分类，以便同时满足高性能和生物学合理性（Vaila等人，2020年）。在这种范式中，强大的SNN前端负责从时空数据中学习特征。这部分通常采用无监督的、受生物学启发的机制，例如基于脉冲时序依赖性可塑性（STDP）的卷积层（El-Assal, Tirilly, Bilasco, 2022; Falez, Tirilly, Bilasco, Devienne, Boulet, 2019; Kheradpisheh, Ganjtabesh, Thorpe, Masquelier, 2018），或直接使用预训练的深度卷积SNNs。随后，这些提取的时空脉冲特征被输入到一个单独的、通常是全连接的脉冲分类器中，该分类器执行最终的监督分类决策（Deng, Li, Zhang, Gu, 2022; Mozafari, Kheradpisheh, Masquelier, Nowzari-Dalini, Ganjtabesh, 2018; Zhao, Zeng, Zhang, Shi, Zhao, 2020）。

尽管这种混合架构在理论上很有吸引力，但脉冲分类器本身已成为主要的瓶颈，限制了系统的整体准确性和计算效率（Stromatias等人，2017年）。现有的脉冲分类器通常面临两个根本性挑战：首先，模型缺乏灵活性。网络拓扑通常需要通过反复试验来手动预设，这与生物大脑的结构可塑性形成鲜明对比。其次，训练过程效率低下。主流的替代梯度算法（Zenke和Vogels，2021年）在计算上非常昂贵，这与SNNs追求的低功耗目标背道而驰。

生物大脑为这些工程问题提供了优雅的解决方案。大脑的神经发生机制揭示了一种按需自适应结构优化的原理，可以根据新神经元对网络功能的贡献，不断生成并将其选择性地集成到现有神经电路中（Ming和Song，2011年）。这确保了大脑形成最紧凑的网络，保证了稳定和高效的学习（Turrigiano，2012年）。将这种生物可塑性机制与SNNs深度融合无疑指出了构建自适应、高性能SNN分类器的一个有前景的研究方向（Huang等人，2023年）。尽管从生物可塑性中汲取灵感已成为SNN研究中的一个重要趋势，但现有工作尚未充分模拟和整合神经发生和神经活动机制。虽然在更广泛的深度学习领域中存在大量关于自适应神经架构的研究，如神经架构搜索（NAS）（Elsken等人，2019年）、渐进式网络（Rusu等人，2016年）和可瘦身网络（Yu等人，2019年），但这些方法通常依赖于计算成本高昂的“搜索和重新训练”范式或迭代梯度优化，这些方法不适合SNNs的效率限制。在结构层面，大多数SNN研究仍然集中在突触的动态调整上（Goupy等人，2024a），而明确模拟神经元级、基于功能的增量整合的工作仍然很少。在学习层面，许多关于稳态机制的模拟仍然与迭代、基于梯度的优化紧密耦合，难以避免相关的计算开销（Confavreux等人，2025年）。为了解决这些限制，我们提出了基于神经发生的脉冲神经网络（NG-SNN），这是一个动态自适应框架，它将基于功能的神经元整合与高效的分析权重学习相结合。NG-SNN将生物神经发生转化为一个实用的脉冲分类模块，通过单次权重计算动态生成最优网络结构，同时避免了迭代优化。本文的主要贡献可以总结如下：

•

我们提出了NG-SNN，它实现了一种统一的模拟神经发生机制。这种机制有机地将基于功能的增量神经元整合与基于活动的自适应权重学习相结合，首次将监督式的增量构建机制引入SNNs。

•

在结构层面，NG-SNN严格遵循神经发生的选择性整合原则，根据功能贡献标准按需生长，自动演化出紧凑且高效的拓扑结构。

•

在学习层面，它避免了低效的迭代优化，采用了一种新颖的、基于活动的自适应正则化伪逆方法，一次性分析求解输出权重，从而显著提高了训练效率和数值稳定性。

•

在标准的静态和神经形态基准测试中，我们验证了NG-SNN作为一个即插即用的分类器的有效性，显示出在准确性、模型紧凑性和训练效率方面的持续提升。

部分摘录

脉冲神经网络

尽管作为第三代人工神经网络，SNNs在能效方面具有显著优势，但由于其脉冲发射函数的离散性和不可微分性，训练高性能的SNNs是一个核心研究挑战（Wu等人，2018年）。现有的SNN训练算法主要包括替代梯度方法、无监督学习和ANN到SNN的转换策略（Guo等人，2023年）。替代梯度方法使用连续函数来

架构概述

如图1所示，NG-SNN的总体框架基于高效的混合架构设计。该架构将复杂的特征提取与最终的分类任务分离。框架的左侧包括一个时空特征提取模块，通常由预训练的脉冲卷积神经网络（SCNN）或无监督的STDP提取器组成。原始输入（如静态图像）通过该模块进行处理，以生成

通用实验设置

我们的实验涵盖了从基本的功能近似到复杂的分类任务，以全面评估NG-SNN框架。我们首先通过一维复合函数拟合任务来验证其通用近似能力，其中数据来自预定义的函数。随后，我们系统地评估了其在两种类型的标准数据集上的分类性能：静态数据集和神经形态数据集，所有这些数据集都具有标准化的训练和

结论

本文提出了NG-SNN，这是一种受神经发生启发的自适应框架，用于脉冲分类，解决了SNN分类器中的结构僵化和训练效率低的问题。NG-SNN通过监督下的神经元整合构建了与任务相匹配的紧凑拓扑，并通过基于活动的公式分析学习输出权重，避免了迭代优化。在静态和神经形态数据集上的实验结果表明，NG-SNN实现了具有竞争力的性能

CRediT作者贡献声明

Jing Tang：撰写——原始草稿、软件、方法论、概念化。Depeng Li：撰写——审阅与编辑、监督、资源。Zhenyu Zhang：撰写——审阅与编辑。Zhigang Zeng：撰写——审阅与编辑、监督、资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作部分得到了中国国家重点研发计划（项目编号2021ZD0201300）、国家自然科学基金（项目编号623B2040）、湖北省杰出研究群体基金（项目编号2025AFA012）以及计算智能与智能控制111项目（项目编号B18024）的支持。