具有双模神经元时间尺度的循环脉冲神经网络，用于提升学习性能

《Neural Networks》：Recurrent Spiking Neural Networks with Bimodal Neuronal Time Scales for Learning Performance Enhancement

生物神经多样性受限于传统RSNN单模时间常数设计，本文提出LSRSNN双模时间常数模型，通过独立分布长/短时神经元时间常数实现有效协作，在记忆任务和语音识别中显著优于传统模型。

　　

向伟|周晓涵|刘新军|臧云亮|余强

天津大学智能与计算学院认知计算与应用国家重点实验室，中国天津300350

摘要

循环脉冲神经网络（RSNNs）是神经形态计算中的一个关键范式，其性能在很大程度上取决于神经元时间尺度的设计。神经科学研究表明，生物皮层电路需要长时间和短时间尺度的神经元协同工作才能实现高效的信息处理。然而，现有的RSNN研究主要采用单模时间尺度，这些时间尺度覆盖了较短的时间常数，这仅形式上模拟了神经元时间常数的异质性。此外，长时间和短时间尺度神经元的直接整合未能保持单模模型的性能优势，成为探索多时间尺度协作的关键瓶颈。为了解决这一挑战，我们提出了基于双模神经元时间尺度的长时间和短时间尺度RSNN（LSRSNN）模型。该模型的核心创新在于明确区分长时间和短时间尺度的神经元群体，通过独立分布确定这两种神经元类型的时间常数，并开发了专为LSRSNN设计的专门学习算法。在工作记忆相关任务和语音识别实验中，LSRSNN在特征提取和记忆能力方面表现出显著优于传统单模RSNN的性能。这些结果不仅验证了双模时间尺度的有效性，而且首次实现了RSNN中长时间和短时间尺度神经元的有效协作训练，为语音处理和复杂决策等神经形态应用提供了更高效的网络架构范式。

引言

传统人工神经网络（ANNs）中的神经元计算模型是深度学习的基础，最初源自对生物神经元空间计算结构的简化模拟。神经科学研究表明，大脑的高效信息处理机制主要依赖于离散脉冲信号的传输和处理（Roy等人，2019年）。这一发现直接促进了脉冲神经网络（SNNs）的发展（Maass，1997年）。在ANNs的神经元模型基础上，SNNs进一步模拟了大脑离散脉冲的时空信息处理特性，从而实现了事件驱动的计算范式（Wu等人，2022年；Yamazaki等人，2022年）。与ANNs相比，SNNs在处理时间信息方面表现出更高的效率，并具有多种潜在优势，包括高度的生物学合理性、强大的计算能力和增强的鲁棒性（Song等人，2021年；Wang等人，2020年；Zhang等人，2025年；Zhou等人，2024年）。此外，它们可以在低功耗的神经形态硬件上高效运行（Akopyan等人，2015年；Davies等人，2018年；Kam等人，2023年）。这些特性为解决人工智能，特别是深度学习范式中遇到的能源消耗和效率瓶颈提供了新的视角。循环脉冲神经网络（RSNNs）作为SNNs的一个重要子类，在处理时间序列和语音数据等时间信号方面表现出特别的专长。通过引入循环连接，脉冲神经元能够反复参与信息处理，并跨时间维度整合输入信号（Bellec等人，2020年）。因此，RSNN在执行动态任务时表现出更高的效率和灵活性。近年来，通过使用替代衍生模型（Neftci等人，2019年），RSNN在基准任务上的性能得到了显著提升，缩小了与传统深度学习方法的性能差距，并在TIMIT语音识别等时间任务中表现出更优的性能（Li等人，2024年；Yin等人，2021年）。由于其高度的生物学合理性，RSNNs被神经科学家视为分析、模拟和研究生物系统的宝贵工具（Stimberg等人，2019年）。

神经科学证据表明，大脑的皮层电路能够在从毫秒到秒的时间尺度上积累信息（Hasson等人，2015年；Honey等人，2012年）。多时间尺度的协同运作是大脑处理高度复杂信息的基础，例如在感觉延迟期间证据积累（Golesorkhi等人，2021年）。特别是在工作记忆中，神经元群体的编码动态与单个神经元的内在时间特性密切相关：短时间尺度的神经元负责记忆编码的早期快速信息传输，而长时间尺度的神经元在关键的延迟维持期间成为信息编码的主要载体（Kim和Sejnowski，2021年；Tang等人，2025年）。控制这种时间整合的关键因素是膜时间常数，它决定了神经元如何随时间整合突触输入。重要的是，时间常数表现出显著的内在异质性，尤其是在其跨多个数量级的广泛分布上。这种神经异质性被认为是实现上述多时间尺度信息处理能力的关键生物学基础（Rungratsameetaweemana等人，2025年）。

最近的研究（Fang等人，2021年；Perez-Nieves等人，2021年）将异质时间常数纳入RSNN模型，表明这一特性可以显著提高网络学习的稳定性和性能。然而，这些方法通常通过将其建模为围绕单一的、相对狭窄的中心值（例如，几十毫秒的数量级）的波动来简化异质性。我们将这种简化形式称为单模异质性。虽然单模异质性提供了建模的便利性，但它带来了显著的约束。首先，由于神经元形态和离子通道组成的差异，时间常数的值在神经元之间可能会有显著差异。单模异质性可能无法完全捕捉到生物系统中观察到的现象，即具有极快和极慢响应特性的神经元共存（Buonomano和Maass，2009年；Hasson等人，2008年）。其次，时间常数直接影响神经元对输入信号的整合和响应速度。单模异质性主要影响网络属性，如脉冲同步和振荡频率，可能忽略了需要同时在极快和极慢时间尺度上运行的神经元协同作用的具体网络功能（Kiebel等人，2008年）。第三，在单模处理方法下，神经异质性经常被误解为噪声或均匀扰动。实际上，时间常数的变化可能与神经元的功能角色或适应机制有关。单模异质性可能会掩盖与功能相关的异质性分布（Duarte和Morrison，2019年；Zang和Marder，2023年；Zang等人，2023年）。更重要的是，简单地尝试整合具有更广泛时间常数分布的神经元群体（即直接混合它们而无需明确的结构组织）通常无法提高网络性能，甚至可能不如单模模型（如第4.2.3节所示）。这表明，仅仅扩大异质性的范围是不够的。实现有效的多时间尺度协作仍然是一个基本挑战。因此，尽管早期研究为理解神经异质性的基本作用提供了重要基础，但它们未能充分探索和利用时间常数分布中的长尾或双模特性，这些特性可能反映了生物多样性和潜在的功能差异。因此，如何在RSNN中构建有效的多时间尺度神经元协作机制仍然是一个关键的未解决问题。

为了解决这一差距并提供更符合生物学特性的异质时间常数表示，我们开发并验证了长时间和短时间尺度RSNN（LSRSNN）。与传统模型相比，后者仅考虑围绕单一的、相对较低平均值波动的时间常数，LSRSNN将神经元群体明确划分为两个亚群体：长时间尺度神经元群体和短时间尺度神经元群体。在长时间尺度神经元群体中，时间常数围绕较大的中心值分布，表明响应较慢；相反，在短时间尺度神经元群体中，时间常数围绕较小的平均值分布，表明响应较快。允许这两个分布独立指定它们的均值和方差，LSRSNN可以在仿真层面展示快速和慢速响应神经元的共存。本文的主要贡献总结如下：

•

我们提出了基于双模神经元时间尺度的LSRSNN模型，提供了更真实的神经元群体内部时间尺度多样性的表示。

•

我们设计了一种专门的学习算法，首次实现了RSNN中长时间和短时间尺度神经元的有效协作训练，解决了多时间尺度协作探索的关键瓶颈。

•

我们在工作记忆相关任务和语音识别中评估了LSRSNN。实验结果表明，LSRSNN在性能上显著优于单模RSNN，验证了双模神经元时间尺度在提高RSNN学习能力方面的有效性。

相关工作

相关工作

研究人员提出了多种策略来模拟大脑的多时间尺度协同学习，主要围绕两个核心原则：利用异质性或整合复杂的动态机制。

神经元模型

脉冲神经元是SNNs中的基本计算单元，功能上模仿了通过离散的、时间定位的脉冲处理信息的生物神经元。它们根据突触输入的时间累积生成输出脉冲的能力，促进了时空信息的有效表示和计算。在本研究的范围内，我们特别使用了LIF模型来捕捉生物学上合理的双模时间

工作记忆相关任务

SNNs的工作记忆指的是模型在任务期间临时存储和处理信息的能力（Kim和Sejnowski，2021年）。工作记忆的评估通常采用各种测试范式，包括顺序记忆任务和延迟响应任务。在这项工作中，采用了两种时间信用分配任务，即模式生成和证据积累，来验证LSRSNN模型在信息积累方面的能力

结论

本文提出了一种名为LSRSNN的新型脉冲神经网络模型，该模型受到大脑多时间尺度协作机制的启发。LSRSNN明确将神经元群体分为具有长时间和短时间尺度的两组，从而在仿真层面模拟了快速和慢速响应神经元之间的共存。结合相应的学习算法，该模型实现了长时间和短时间尺度的有效整合。

CRediT作者贡献声明

向伟：写作——审阅与编辑，撰写——原始草稿，可视化，方法论，调查，形式分析，概念化。周晓涵：写作——原始草稿，可视化，方法论，调查，形式分析，数据整理。刘新军：写作——审阅与编辑，验证，调查。臧云亮：写作——审阅与编辑，调查，资金获取，形式分析。余强：写作——审阅与编辑，撰写——原始草稿，

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

这项工作部分得到了中国国家重点研发计划（2023YFF1204200）、国家自然科学基金（项目编号92370103、62176179和62476197）以及小米基金的支持。