基于双向多阈值LIF神经元的轻量高效脉冲UNet模型

【字体: 时间:2026年03月01日 来源:Neurocomputing 6.5

编辑推荐:

  脉冲神经网络(SNNs)因事件驱动和生物可解释性在边缘图像处理中潜力显著,但传统LIF/IF神经元单阈值触发导致膜电位强度和负向信息丢失。本文提出双向多阈值LIF(BMT-LIF)神经元模型,通过可学习的双向多级阈值编码有效缓解信息损失,并构建轻量化高效SNN-UNet(LES-UNet)架构,参数量较传统U-Net减少94%,同时设计多阈值梯度贡献机制实现直接训练。实验表明,在DRIVE图像分割数据集上3步内F1达0.820,BSD68去噪数据集PSNR达28.76 dB,较传统架构显著提升推理速度与处理效果。

  
刘一军|张炯豪|邓泽坤|叶武健
广东工业大学集成电路学院,广州,510006,中国

摘要

脉冲神经网络(SNNs)在资源受限的边缘图像处理中展现出巨大潜力,这得益于它们基于事件驱动的特性以及与生物系统的相似性。然而,现有的SNNs主要采用Leaky-Integrate-and-Fire(LIF)或Integrate-and-Fire(IF)神经元模型,这些模型的单阈值触发机制和单向正脉冲发射机制忽略了膜电位强度和负膜电位信息,从而导致SNNs内部严重的信息丢失。受生物神经元分层响应和双向调节机制的启发,本文提出了一种双向多阈值LIF(BMT-LIF)神经元模型。基于这种BMT-LIF神经元,构建了一个轻量级高效的Spiking-UNet(LES-UNet)网络。BMT-LIF神经元实现了膜电位的学习型双向多级阈值编码,显著减少了信息丢失问题。LES-UNet采用简化的编码器-解码器架构,仅包含两个下采样和上采样步骤,与传统U-Net相比参数数量减少了约94%。此外,本文还提出了一种多阈值梯度贡献机制,通过分别为BMT-LIF神经元的每个阈值计算替代梯度并进行加权求和,实现了LES-UNet的直接训练。实验结果表明,LES-UNet在DRIVE图像分割数据集上仅需3个时间步长即可达到0.820的F1分数;在高斯噪声强度为25的BSD68图像去噪数据集上,仅需3个时间步长即可达到28.76 dB的PSNR。与传统U-Net和其他Spiking-UNet架构相比,LES-UNet在保持图像处理性能的同时,具有更快的推理速度。因此,所提出的LES-UNet在轻量级架构、推理时间和图像处理效果方面具有明显优势。

引言

脉冲神经网络(SNNs)与人工神经网络(ANNs)的不同之处在于,它们通过离散的脉冲来传递信息,这些脉冲模仿了生物神经元的活动方式。由于其基于事件驱动的特性和生物学上的可解释性,SNNs在资源受限的边缘图像处理应用中受到了广泛关注[1],[2],[3],[4],[5],[6],[7],[8]。然而,现有的SNNs主要采用单阈值触发和统一的正脉冲发射机制。虽然这种机制简化了计算逻辑,但导致膜电位强度信息和负膜电位信息的丢失,从而限制了SNNs的图像处理性能[9],[10]。
为了解决SNNs中的信息丢失问题,研究人员从多个角度改进了神经模型。InfLoR-SNN[11]提出了软重置IF神经元和膜电位整流器来减少信息丢失;SPIDEN[12]采用自适应阈值IF神经元来优化发射时机,并将其应用于图像去噪。然而,这些方法仍然局限于单阈值触发模式,无法有效编码膜电位强度。受生物神经元分层响应特性的启发,多阈值神经元的概念应运而生。Spiking-UNet[14]采用了固定的前向多阈值设计,而Leaky Integrate and Fire(IF&B)神经元[15]实现了多阈值触发的自适应脉冲发射。尽管这些方法初步实现了膜电位强度的编码,但都忽略了负膜电位中包含的信息。实际上,生物神经系统中兴奋性和抑制性信号的合作作用是复杂信息处理的基础[16],表明负膜电位中的抑制性信息尤为重要。一些研究,如Ternary Spike[17]和TS-MLE[18],试图引入负脉冲以丰富信息容量,但这些方法未能实现多级强度编码、负信息利用和神经元的动态适应的协同优化。
近年来,SNNs与U-Net[19]的融合架构在图像生成和分割等任务中展现了潜力。SUM[20]和SDDPM[21]在图像生成方面取得了突破性成果,而Spiking-UNet[22]通过图像分割实现了能效高的频谱检测。Spike-UNet[23]则针对低功耗SAR相干变化检测进行了优化。然而,这些研究保留了传统U-Net的深度架构,缺乏轻量化设计,导致参数冗余和计算延迟。此外,所采用的神经模型缺乏多阈值分层响应和负膜电位信息的处理。
常见的SNN训练方法包括ANN-SNN转换和直接训练。前者通过将预训练的ANN转换为SNN并匹配激活率来实现SNN训练[24],[25],[26],但这种方法需要更长的推理时间步长才能达到与ANN相当的性能。后者使用替代梯度函数来近似脉冲步长函数,实现了SNN的端到端直接优化[27],[28],[29],显著减少了所需的推理时间步长。因此,本文采用直接训练方法。
在本文中,我们提出了一种双向多阈值LIF(BMT-LIF)神经元模型和轻量级高效的Spiking-UNet(LES-UNet)。通过BMT-LIF神经元对膜电位的细粒度编码,LES-UNet实现了高效的图像特征提取能力。此外,我们提出了一种多阈值梯度贡献机制,实现了LES-UNet的直接训练。主要贡献如下:
  • 受生物神经元分层响应和双向调节机制的启发,我们提出了一种BMT-LIF神经元模型,该模型采用学习型双向多阈值编码,显著减少了SNNs中的信息丢失。
  • 我们基于BMT-LIF神经元开发了LES-UNet。其简化的编码器-解码器设计相比传统U-Net和其他Spiking-UNet架构减少了94%的参数数量,同时BMT-LIF的细粒度膜电位编码保持了强大的特征提取能力。
  • 我们提出了一种多阈值梯度贡献机制,用于支持LES-UNet的直接训练。通过分别为BMT-LIF神经元的每个阈值计算替代梯度并进行加权聚合,该方法显著减少了推理时间步长,同时保持了有效的反向传播。
  • 在BSD68和CBSD68图像去噪数据集以及DRIVE和CamSeq01图像分割数据集上的实验表明,所提出的LES-UNet在更少的时间步长内取得了更好的性能,充分验证了其在推理时间和图像处理效果方面的优势。

部分内容

BMT-LIF神经元的设计

目前SNNs中主要使用的脉冲神经元模型是Leaky-Integrate-and-Fire(LIF)模型[30]或Integrate-and-Fire(IF)模型[31],这两种模型都模拟了生物神经元的电荷积累和脉冲传输过程。其中,LIF神经元基于IF神经元,引入了膜电位泄漏机制,利用泄漏时间常数来模拟生物神经元细胞膜的天然电荷泄漏特性。

图像去噪

为了验证LES-UNet在图像去噪任务中的性能,我们在三个基准数据集BSD200、BSD68和CBSD68上进行了实验。
BSD200数据集包含200张彩色自然场景图像。我们将BSD200数据集的图像转换为灰度版本,作为BSD68的训练和验证集,而原始彩色图像用于CBSD68的训练。实验过程中人工添加了具有不同标准差的高斯噪声以模拟多种

结论

为了解决现有脉冲神经元模型中的信息丢失问题,本文提出了一种受生物神经元分层响应和双向调节机制启发的BMT-LIF神经元模型。BMT-LIF神经元实现了膜电位的学习型双向多级阈值编码,有效减少了膜电位强度和负信息的丢失。此外,基于BMT-LIF神经元构建了LES-UNet。

CRediT作者贡献声明

刘一军:撰写 – 审稿与编辑、资源管理、方法论、资金获取、概念构思。张炯豪:撰写 – 原始草稿、可视化、验证、软件开发、方法论、数据分析、数据管理、概念构思。邓泽坤:撰写 – 审稿与编辑、指导、方法论、数据分析、资金获取、概念构思。叶武健:撰写 – 审稿与编辑、指导、数据分析、概念构思。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文的研究工作。

致谢

本研究部分得到了广东省发展和改革委员会芯片设计综合服务与创新平台项目(项目编号2022271)以及广东工业大学(项目编号263114079)的支持。
刘一军1999年获得北京师范大学计算机科学学士学位,2002年获得广东工业大学计算机科学硕士学位,2003年和2005年分别获得英国曼彻斯特大学计算机科学硕士和博士学位。他目前是广东工业大学集成电路学院的教授,研究兴趣包括
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号