《Microelectronic Engineering》:Variation-robust CMOS monostable multivibrator-based spiking neuron and spiking neural networks
编辑推荐:
脉冲神经网络中基于CMOS单稳态多谐振荡器的神经元设计,具有低功耗、高鲁棒性和紧凑布局优势,在模拟和实际工艺仿真中均表现出良好的性能稳定性,适用于多种时序编码的大规模应用。
作者:Maleeha Abdul Azeez | Dhanaraj K.J.
印度科泽科德卡利卡特国立理工学院(National Institute of Technology Calicut),邮政信箱673 601
摘要
脉冲神经网络(Spiking Neural Networks, SNNs)是一类人工神经网络(Artificial Neural Networks, ANNs),它们通过脉冲列(spike trains)来处理信息。脉冲神经元的硬件实现表明,SNNs可以成为低功耗和高密度的神经网络。在这项工作中,提出了一种基于CMOS的单稳态多谐振荡器电路实现的脉冲神经元设计。与类似的脉冲神经元设计相比,该神经元表现出对硬件变化的高鲁棒性,同时具有低功耗、小面积和低延迟的特点。其在宽范围的脉冲率下的运行能力使其能够应用于多种场景。使用所提出的神经元设计的SNNs,在模拟研究中显示出比其他类似设计更好的性能。此外,还探讨了将该神经元用于大规模SNNs的可能性。对神经元及其构建的两个SNNs进行的布局后仿真也显示出了高鲁棒性,这与布局前仿真结果一致。该神经元的工作面积小于33 μm2,每个脉冲的能耗低至100 fJ,证明了它是一种简单、紧凑、节能且耐变的脉冲神经元,是构建多样化SNNs的理想候选者。
引言
脉冲神经网络(SNNs)属于类脑计算硬件家族,其计算方式类似于生物神经系统[1]。SNNs中的编码信息存储在脉冲列中。低功耗和事件驱动的操作方式使得SNNs成为解决复杂科学和工程问题的有力工具。文献中提出了多种基于CMOS的脉冲神经元电路设计[2], [3], [4], [5], [6], [7], [8], [9]。在这些电路中,输入为电压或电流脉冲列。为了在脉冲列中传递信息,SNNs采用了多种编码方案,包括速率编码、首次脉冲时间(Time-To-First-Spike, TTFS)编码、相位编码、延迟编码等。所有情况下的基本操作原理相同:根据输入脉冲或一组输入脉冲,产生一个输出脉冲或一组输出脉冲。输出的解释取决于所使用的编码方案和具体应用。
文献[10]表明,基于计数器操作的非重触发单稳态多谐振荡器(Non-Retriggerable Monostable Multivibrators, NRMMVs)的数字实现也可以用于实现脉冲神经元。然而,这种神经元被视为非生物模型的脉冲神经元,因为其工作原理与传统脉冲神经元有很大不同:输入脉冲的类型(兴奋性或抑制性)决定了输出脉冲的生成。使用这种基于定时器的多谐振荡器的网络已经在手写数字识别和手势识别任务中展示了低功耗、高精度和经济性的解决方案[11], [12]。
在这项工作中,提出了一种基于CMOS单稳态多谐振荡器的脉冲神经元。该电路利用偏置信号实现神经元功能。对神经元电路的分析表明,其在性能特性方面优于文献中的同类电路。使用这种神经元还实现了具有不同功能的SNNs,并进行了布局前和布局后的仿真研究。研究结果表明,所提出的神经元是实现高性能SNNs的理想候选者。
由于集成电路(IC)制造过程导致的全局和局部变化(分别称为晶粒间变化和晶粒内变化),电路中会出现硬件差异[13]。需要量化这些变化对脉冲神经元电路VLSI实现的影响。因此,除了研究电路的主要性能特性(如功耗、面积和延迟)外,还考虑了变异系数(Coefficient of Variation, CoV),即标准偏差与平均值之比[14]。CoV用于表示电路对硬件变化的容忍度。输出参数的较低CoV值表明电路具有较高的变化容忍度。
本文的结构如下:第2节介绍了所提出的电路及其性能特性。第3节比较了所提出的神经元与文献中类似的基于CMOS的神经元设计的性能特性。第4节详细介绍了使用所提出神经元实现SNNs的过程。第5节提供了该神经元及用该神经元构建的两个SNN的布局设计,并展示了与布局前仿真结果一致的设计后的仿真结果。第6节总结了全文。
相关内容片段
所提出的神经元
单稳态多谐振荡器(Monostable Multivibrator, MMV)是一种在输入发生预定义转换时产生可编程宽度脉冲的电路。除了作为纯数字电路实现外,单稳态多谐振荡器电路还可以由NAND或NOR门及模拟定时电路组成。模拟定时电路能够将脉冲宽度固定为任意所需值,并降低电路复杂性。
脉冲神经元的功能
与类似神经元的性能特性比较
所提出的单稳态多谐振荡器神经元电路是使用Cadence Virtuoso Suite和gpdk045库设计的。该电路采用0.9 V的双电源供电。
为了验证所提出设计的有效性,有必要将其性能与相同技术下设计的类似神经元进行比较。因此,选择了基于[2], [3], [4], [5]的神经元电路,分别称为设计A、设计B、设计C和设计D。
脉冲神经网络的实现
脉冲神经元的真正考验在于其在多种SNN中的应用能力。为了满足这一要求,SNN必须在表现出足够的变异容忍度的同时完成其功能。为此,实现并模拟了一些SNN,并研究了工艺变化和器件不匹配对SNN性能的影响。
布局和布局后仿真
为了更准确地验证所提出的脉冲神经元设计在硅片上的性能,使用Cadence Virtuoso Layout Suite进行了布局设计,如图12所示。设计后的电路面积约为33 μm2。
进行了布局后仿真,包括提取寄生阻抗。结果如表12所示。
布局前和布局后仿真结果的比较表明,两者之间通常没有显著差异。
结论
在这项工作中,有效地使用了基本的CMOS单稳态多谐振荡器作为脉冲神经元。所提出的脉冲神经元采用45纳米工艺设计。通过布局前和布局后仿真证明,该设计具有紧凑性、低功耗和良好的抗变异能力。此外,该神经元能够在宽范围的脉冲率下工作,适用于多种应用。使用所提出的神经元实现了用于速率编码和TTFS编码的SNNs。
CRediT作者贡献声明
Maleeha Abdul Azeez:概念构思、方法论、研究、撰写——初稿。
Dhanaraj K.J.:指导、撰写——审阅与编辑。
致谢
作者感谢印度科钦的Rajagiri工程学院和俄罗斯莫斯科的MIET为这项工作的初始和后续阶段提供了必要的资源。同时,作者还要感谢印度政府MeitY的Chips to Systems (C2S) 创业项目,为印度科泽科德卡利卡特国立理工学院的CAD工具和实验室设施提供了支持,旨在培养VLSI/嵌入式系统设计方面的专业人才。