脉冲神经网络进化研究:神经元模型与编码策略在神经形态学习中的关键作用

《Frontiers in Neuroscience》:Evolving spiking neural networks: the role of neuron models and encoding schemes in neuromorphic learning

【字体: 时间:2026年02月06日 来源:Frontiers in Neuroscience 3.2

编辑推荐:

  本文系统研究了采用增强拓扑神经进化(NEAT)算法训练的脉冲神经网络(SNN)中,神经元模型与编码策略对性能的影响。通过对比Leaky Integrate-and-Fire(LIF)和Izhikevich神经元模型在不同任务中的表现,发现具有生物合理性的Izhikevich模型在多数分类和强化学习任务中显著优于简化模型,为神经形态计算硬件设计提供了重要理论依据。

  
1 引言
神经形态计算的核心架构——脉冲神经网络(SNN)通过模拟生物神经系统的时序动力学和事件驱动通信机制,为边缘嵌入式系统提供了高能效的实时处理框架。然而SNN的训练仍面临重大挑战,由于脉冲神经元的激活函数具有不可微特性,传统的基于梯度的反向传播方法需要借助替代梯度进行近似计算,这种方法缺乏生物合理性且可能限制类脑计算的泛化能力。
进化算法为SNN训练提供了无需梯度的替代方案。通过群体搜索和随机变异优化网络参数,这类方法在深度学习领域已有成功应用。近期研究表明,在基于进化方法的SNN训练中,脉冲编码和解码策略对性能具有决定性影响。值得注意的是,现有研究多基于计算简单的LIF神经元模型,而现代神经形态硬件平台(如ODIN芯片、Darwin3芯片)已能支持更具生物真实性的Izhikevich模型,该模型能以少量参数复现20种生物放电模式。
本研究通过NEAT算法联合优化网络结构与突触权重,系统探讨了神经元模型与编码策略的相互作用对学习效果的影响。实验涵盖分类与强化学习任务,结果表明神经元模型的选择与编码策略同等重要,这强调了神经形态系统软硬件协同设计的必要性。
2 材料与方法
研究采用增强拓扑神经进化(NEAT)算法进化脉冲神经网络,该算法通过遗传操作(突变、交叉)和物种形成机制平衡探索与利用。在ANNarchy神经仿真框架中实现的NEAT算法支持并行评估候选网络,网络拓扑完全由进化过程决定,形成具有全连接潜力的递归脉冲网络。
实验设计包含两大任务类型:基于GymnasiumAPI的强化学习任务(Cartpole、Acrobot、Mountain Car)和UCI数据库分类任务(Iris、Wine、Breast Cancer)。采用两种编码策略:紧凑编码(每个特征对应2个神经元)和分布式编码(20个神经元/特征),输出解码采用投票机制或首脉冲机制。神经元模型对比涵盖LIF模型(公式2)和Izhikevich模型(公式3-4),其中Izhikevich模型通过耦合微分方程实现膜电位v和恢复变量u的协同演化,能模拟丰富的生物放电模式。
所有实验均通过Optuna框架进行贝叶斯超参数优化,每个配置评估100组参数,最优参数独立运行31次以验证稳定性。物种形成采用NEAT原始兼容性距离公式(公式1),确保进化过程的多样性保持。
3 结果
3.1 Cartpole问题
在平衡杆任务中,Izhikevich模型配合紧凑编码方案表现出最优性能,31次独立运行均能达到500分满分。相同编码下LIF模型收益显著降低(p<0.05)。超参数近优分析显示,除多脉冲分布式编码外,多数配置仅有少量高性能参数区域。
3.2 Acrobot问题
双链摆任务中,两种神经元模型在紧凑编码下均能解决问题,但LIF模型表现出更低变异度。分布式编码的单脉冲配置无法产生有效网络。统计检验表明紧凑编码下两模型无显著差异,但多脉冲编码中Izhikevich模型显著优于LIF(p<0.05)。
3.3 Mountain Car问题
山地车任务中,仅Izhikevich模型配合紧凑编码能成功解决问题(平均收益-102.25±3.57),其余配置均获得最低收益-200。这表明复杂时序任务更需要生物真实的神经元动力学。
3.4-3.6 分类任务
在Iris、Wine和Breast Cancer数据集的分类任务中,Izhikevich模型在所有编码组合下均达到0.92以上准确率,显著优于LIF模型(p<0.05)。超参数优化显示Izhikevich模型具有更宽广的近优区域,而LIF模型仅在小参数区间达到相近性能。时序编码与投票机制组合在Izhikevich模型中表现最为稳定。
4 讨论
系统研究表明,Izhikevich模型在绝大多数任务中优于LIF模型,其优势源于更丰富的内在动力学特性。恢复变量u引入的脉冲频率适应、簇状放电等机制为网络提供了短期记忆和自适应增益控制能力,这对需要时间整合的强化学习任务尤为重要。超参数优化结果证实该优势具有鲁棒性,非单一参数配置所致。
计算成本分析显示Izhikevich模型每时间步需16次浮点运算,较LIF模型(7次)高出2-3倍,但新型算术表示(如posit格式)可能缓解该问题。研究局限性包括训练方法特异性(仅限进化算法)和Izhikevich参数配置单一性。时序编码设计未完全遵循生物延迟编码规律,未来可探索不确定性依赖的编码策略。
这些发现为推动神经形态硬件发展提供了实证依据,建议硬件设计应突破当前对简化模型的优化,支持更复杂的神经元动力学,以实现更高性能的类脑计算系统。
相关新闻
生物通微信公众号
微信
新浪微博

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号