通过大型语言模型（LLM）生成并结合具有区分性和分布对齐的过滤机制，实现差异性隐私数据增强

《Neural Networks》：Differentially private data augmentation via LLM generation with discriminative and distribution-aligned filtering

本文提出神经发生启发式脉冲神经网络（NG-SNN），通过动态结构适应和单次分析学习方法解决脉冲神经网络分类器拓扑僵化与训练低效问题，实验表明其性能更优且参数更少。

　　

Jing Tang|Depeng Li|Zhenyu Zhang|Zhigang Zeng

机构：华中科技大学人工智能与自动化学院，地址：430074，武汉，中国

摘要

脉冲神经网络（SNNs）专为低功耗神经形态计算而设计。一种广泛采用的混合范式将特征提取与分类分离，以提高生物合理性及模块化程度。然而，这种分离将决策过程集中在下游的分类器中，在许多系统中这成为影响准确性和效率的限制因素。预设的固定拓扑结构可能导致冗余或容量不足，而替代梯度训练在计算上仍然代价高昂。生物神经发生是大脑通过动态添加新神经元来构建高效、特定任务电路的机制。受此过程的启发，我们提出了基于神经发生的脉冲神经网络（NG-SNN），这是一种动态自适应框架，通过两项关键创新来应对这些挑战。首先，我们引入了一种监督式增量构建机制，根据贡献标准动态生成最优结构。其次，我们设计了一种基于活动的分析学习方法，用单次计算和自适应权重更新替代了迭代优化，大幅提高了训练效率。因此，NG-SNN独特地将动态结构适应性与高效的非迭代学习相结合，形成了一个自组织且快速收敛的分类系统。此外，这种由神经发生驱动的过程使NG-SNN具有高度紧凑的结构，所需的参数数量显著减少。大量实验表明，我们的NG-SNN在各种数据集上都能达到或超越竞争对手的性能，且无需迭代训练和手动调整架构的开销。

引言

近年来，深度神经网络（DNNs）取得了显著突破。然而，它们对大规模标记数据的依赖、巨大的能耗（Strubell等人，2020年）以及与生物信息处理的差异导致的可解释性限制了进一步的发展。为了解决这些问题——尤其是能源瓶颈——研究人员越来越多地关注受生物启发的脉冲神经网络（SNNs）。作为第三代神经网络（Schuman等人，2022年），SNNs提供了事件驱动的计算、时空编码以及固有的低功耗潜力。利用离散脉冲，SNNs模仿了生物神经元的动态特性，在复杂的时间处理和节能的神经形态计算方面展现出巨大潜力（Eshraghian等人，2023年）。

为了在复杂的分类任务中实现最先进的性能（SOTA），当前主流的SNN训练方法主要依赖于基于反向传播（BP）的全局优化算法（Dampfhoffer等人，2023年）。这些方法通过引入替代梯度（SG）等技术成功地将成熟的梯度反向传播机制应用于SNNs，这些技术近似了不可微的脉冲发射过程，实现了深度网络的端到端优化（Lee等人，2020年）。与这种端到端训练方法并行的是另一种极具影响力的混合架构范式，它将SNN系统分为两个独立阶段：特征提取和分类，以实现高性能和生物合理性（Vaila等人，2020年）。在这种范式中，强大的SNN前端负责从时空数据中学习特征。这部分通常采用无监督的、受生物启发的机制，例如基于脉冲时序依赖性可塑性的卷积层（STDP）（El-Assal, Tirilly, Bilasco, 2022; Falez, Tirilly, Bilasco, Devienne, Boulet, 2019; Kheradpisheh, Ganjtabesh, Thorpe, Masquelier, 2018），或直接使用预训练的深度卷积SNNs。随后，这些提取的时空脉冲特征被输入到一个独立的、通常是全连接的脉冲分类器中，该分类器执行最终的监督分类决策（Deng, Li, Zhang, Gu, 2022; Mozafari, Kheradpisheh, Masquelier, Nowzari-Dalini, Ganjtabesh, 2018; Zhao, Zeng, Zhang, Shi, Zhao, 2020）。

尽管这种混合架构在理论上有吸引力，但脉冲分类器本身已成为主要瓶颈，限制了系统的整体准确性和计算效率（Stromatias等人，2017年）。现有的脉冲分类器通常面临两个根本性挑战：首先，模型缺乏灵活性。网络拓扑通常需要通过反复试验进行繁琐的手动预设，这与生物大脑的结构可塑性形成鲜明对比。其次，训练过程效率低下。主流的替代梯度算法（Zenke和Vogels，2021年）在计算上代价高昂，这与SNNs追求的低功耗目标背道而驰。

生物大脑为这些工程问题提供了优雅的解决方案。大脑的神经发生机制揭示了一种按需自适应结构优化的原理，可以根据神经元对网络功能的贡献不断生成并选择性地将其整合到现有神经回路中（Ming和Song，2011年）。这确保了大脑形成最紧凑的网络，保证了稳定和高效的学习（Turrigiano，2012年）。将这种生物可塑性机制与SNNs深度整合无疑指出了构建自适应、高性能SNN分类器的一个有前景的研究方向（Huang等人，2023年）。尽管从生物可塑性中汲取灵感已成为SNN研究的重要趋势，但现有工作尚未充分模拟和整合神经发生和神经活动机制。虽然深度学习领域有大量关于自适应神经架构的研究，如神经架构搜索（NAS）（Elsken等人，2019年）、渐进式网络（Rusu等人，2016年）和可瘦身网络（Yu等人，2019年），但这些方法通常依赖于计算成本高昂的“搜索和重新训练”范式或迭代梯度优化，这些方法不适合SNNs的效率要求。在结构层面，大多数SNN研究仍集中在突触的动态调整上（Goupy等人，2024a），而明确模拟神经元级、基于功能的增量整合的工作仍然很少。在学习层面，许多关于稳态机制的模拟仍然紧密依赖于迭代、基于梯度的优化，难以避免相关的计算开销（Confavreux等人，2025年）。为了解决这些限制，我们提出了基于神经发生的脉冲神经网络（NG-SNN），这是一种动态自适应框架，它将基于功能的神经元整合与高效的分析权重学习相结合。NG-SNN将生物神经发生转化为实用的脉冲分类模块，通过单次计算权重更新动态生成最优网络结构，同时避免了迭代优化。本文的主要贡献可以总结如下：

•

我们提出了NG-SNN，它实现了一种统一的模拟神经发生机制。这一机制首次将基于功能的增量神经元整合与基于活动的自适应权重学习有机结合到SNNs中。

•

在结构层面，NG-SNN严格遵循神经发生的选择性整合原则，根据功能贡献标准按需生成，自动演化出紧凑且高效的拓扑结构。

•

在学习层面，它避免了低效的迭代优化，采用了一种新颖的、基于活动的自适应正则化伪逆方法，一次性解析求解输出权重，从而显著提高了训练效率和数值稳定性。

•

在标准的静态和神经形态基准测试中，我们验证了NG-SNN作为一种即插即用的分类器的有效性，显示出在准确性、模型紧凑性和训练效率方面的持续提升。

章节片段

脉冲神经网络

尽管作为第三代人工神经网络，SNNs在能效方面具有显著优势，但训练高性能SNNs仍是一个核心研究挑战，主要是由于其脉冲发射函数的离散性和不可微性（Wu等人，2018年）。现有的SNN训练算法主要包括替代梯度方法、无监督学习和ANN到SNN的转换策略（Guo等人，2023年）。替代梯度方法使用连续函数来

架构概述

如图1所示，NG-SNN的总体框架基于高效的混合架构设计。该架构将复杂的特征提取与最终的分类任务分离。框架的左侧是一个时空特征提取模块，通常由预训练的脉冲卷积神经网络（SCNN）或无监督的STDP提取器组成。原始输入（如静态图像）通过该模块处理后生成

一般实验设置

我们的实验涵盖了从基本的功能逼近到复杂的分类任务，以全面评估NG-SNN框架。我们首先通过一维复合函数拟合任务验证其通用逼近能力，其中数据来自预定义的函数。随后，我们在两种类型的标准化数据集上系统地评估其分类性能：静态数据集和神经形态数据集

结论

本文提出了NG-SNN，这是一种受神经发生启发的自适应框架，用于脉冲分类，解决了SNN分类器中的结构僵化和训练效率低的问题。NG-SNN通过监督式神经元整合构建了与任务匹配的紧凑拓扑，并通过基于活动的公式解析学习输出权重，避免了迭代优化。在静态和神经形态数据集上的实验结果表明，NG-SNN实现了有竞争力的性能

CRediT作者贡献声明

Jing Tang：撰写——原始草稿、软件、方法论、概念化。Depeng Li：撰写——审阅与编辑、监督、资源协调。Zhenyu Zhang：撰写——审阅与编辑。Zhigang Zeng：撰写——审阅与编辑、监督、资金获取。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了中国国家重点研发计划（项目编号2021ZD0201300）、国家自然科学基金（项目编号623B2040）、湖北省杰出研究群体基金（项目编号2025AFA012）以及计算智能与智能控制111项目（项目编号B18024）的支持。