《Chaos, Solitons & Fractals》:Mechanisms investigation of spiking and chaos in memristive neurons based on locally active memristor models
编辑推荐:
脉冲振荡与混沌行为的生成机制及硬件验证研究。本文提出基于信号变化率和能量消耗的脉冲振荡判定标准,并利用Lyapunov指数分析验证混沌行为。通过二阶和三阶忆阻神经元电路,研究了模型表达式和参数的影响,硬件实现验证了理论,为神经形态计算设计提供指导。
李一清|梁艳|卢振洲|袁芳|董玉娇|王广义|阿赫梅特·萨米尔·德米尔科尔|罗纳德·特茨拉夫|阿隆·阿斯科利
杭州电子科技大学电子与信息学院,中国杭州,310018
摘要
局部活性忆阻器(LAMs)具有小信号放大能力,使其适用于人工神经元电路。尖峰振荡和混沌动态是两种在尖峰神经网络和组合优化应用中表现出潜力的神经形态行为。尖峰振荡通过基于信号变化率和能耗特性的新提出的标准来识别,而混沌动态则通过李雅普诺夫指数分析进行验证。为了研究其潜在机制,分别使用简单的二阶和三阶忆阻神经元电路来生成周期性的尖峰和混沌神经形态行为。基于非线性电路和动态理论以及数值分析方法,定量研究了模型表达式和参数对尖峰振荡和混沌行为的影响。分析结果表明,这两种神经形态行为的出现主要取决于LAMs多项式模型中忆阻/忆导函数的表达式以及LAMs在工作点处的瞬时电阻和微分电阻的特性。这两种电路的硬件实现进一步验证了理论和仿真结果。这一见解为设计和优化神经元模型及神经形态计算设备提供了宝贵的指导,推动了面向电路的神经形态计算系统的实现。
引言
由于其高能效和计算能力,神经形态计算在大数据时代展现出巨大的应用前景[1]、[2]。为了支持神经形态系统的硬件实现,设备和电路层面的创新至关重要。局部活性忆阻器(LAMs)作为一种固有地表现出非线性动态和丰富尖峰行为的纳米级器件,受到了广泛关注[3]、[4]、[5]。通过利用忆阻器的局部活性特性来实现动态放电行为,基于LAM的神经元电路推动了神经形态硬件的设计,并为新兴电路和系统的非线性分析和系统级建模提供了新的见解[6]、[7]、[8]、[9]。
在生物神经系统中(图1(a)),神经元通常通过尖峰传递信息。这些尖峰来源于神经元膜上的离子通道动态,如图1(b)所示,可以在细胞体和树突位置进行实验记录[10]。除了尖峰振荡外,还观察到了不规则和混沌的神经活动。例如,海马网络的记录显示了从节奏性振荡到混沌动态的转变,如图1(c)所示[11]。为了模拟这种神经形态行为,已经开发了各种神经元电路模型。其中,霍奇金-赫胥黎(Hodgkin–Huxley)电路模型是最基础且被广泛认可的,因为它忠实地捕捉了潜在的生物离子通道机制。图1(d)示意性地展示了HH神经元模型中的钠(Na+)和钾(K+)离子通道,突出了它们的电压依赖性门控特性和选择性离子通透性。图1(e)展示了HH神经元的等效电路表示,将这些离子通道作为时间和电压依赖的导电性以及膜电容和泄漏路径整合在一起。由于其丰富的非线性结构,HH模型能够表现出多种放电行为,包括周期性尖峰和混沌动态,因此成为将神经元电生理学与非线性电路理论联系起来的基础框架[12]。然而,HH电路的结构复杂性,涉及多个耦合状态变量,给分析处理和硬件实现带来了挑战。这促使人们开发了降阶神经元模型,如Morris–Lecar[13]和FitzHugh–Nagumo模型[14],这些模型在显著降低系统维度的同时保留了必要的非线性特性。
受这些发现的启发,使用忆阻器实现了电路层面的系统,以再现类似的动态。特别是,忆阻神经元电路(例如图1(f))可以分别模拟尖峰振荡和混沌行为(图1(g)和(h) [15])。这样的电路实现不仅为研究复杂的神经元动态提供了硬件平台,还建立了非线性系统分析与神经形态硬件设计之间的直接联系。
受生物系统启发的尖峰神经网络(SNNs)能够高效处理时空数据,最近的进展如时间前向传播(FPTT)减轻了存储限制[16]。除了尖峰之外,混沌动态在工程中也扮演着重要角色,通过多卷积Chua电路实现安全通信[17],以及通过忆阻式中央循环神经网络(MCCNNs)生成的可控混沌动态实现基于物联网的移动机器人的稳健导航[18]。从电路设计的角度来看,神经形态设备中尖峰和混沌行为的出现和控制对于提高功能性和适应性至关重要。目前,确定混沌的方法已经成熟,包括李雅普诺夫指数、庞加莱映射和分岔图[19]、[20]、[21],而混沌系统在参数和表达式方面的特性尚不清楚。此外,尽管尖峰被经典定义为动作电位——其特征是幅度约为100毫伏,持续时间为1-2毫秒——但在尖峰振荡中可靠地检测尖峰仍然具有挑战性[22]。这些振荡通常仅通过定性波形特征来描述,如快速上升和下降阶段[23],迄今为止,尚未建立广泛接受的尖峰识别定量标准。这些挑战突显了系统级电路建模和分析的必要性,以弥合非线性动态理论与实际神经形态电路实现之间的差距。
混沌边缘(EOC)是大脑中与创造力、自组织和复杂性相关的一个关键状态[24]。EOC理论已被应用于解释忆阻细胞网络中的模式形成[25]、[26]、图灵不稳定性[27]和斯梅尔悖论[28]。最近的工作将这一理论扩展到忆阻神经形态模型,表明神经元的全或无放电现象出现在亚临界霍普夫分岔和EOC状态附近[29]、[30]。它还指导了快速、紧凑的基于阈值切换的CNN细胞的设计,以实现高效的生物启发计算[31]。
根据直流V-I曲线的轮廓,忆阻器可以分为N型和S型。当与无源组件连接时,忆阻器可以用来形成二阶、三阶或更高阶的神经元电路。利用忆阻器的四阶霍奇金-赫胥黎神经元电路可以复制生物神经元中的周期性和混沌放电行为[32]。由电感器和N型忆阻器组成的人工神经元电路,在直流或正弦电压信号的驱动下,能够捕捉生物神经元的关键特征,包括全或无响应、尖峰振荡和混沌行为[15]。在[33]中,提出了一个简单的S型忆阻器模型,并用它构建了二阶周期性和三阶混沌振荡神经元电路。简单的循环霍普菲尔德神经网络(SCHNN)在电磁辐射和外部电流输入下表现出多样的神经动态,包括多稳态、可控的尖峰/爆发以及共存的周期/混沌放电[34]。在上述工作中,忆阻器模型和参数设置的差异导致了尖峰振荡和混沌生成条件的不同。
周期性尖峰神经形态行为至少需要二阶复杂性[32]、[35],而更复杂的混沌行为则需要三阶或更高阶的系统[36]、[37]。此外,大多数物理纳米级局部活性忆阻器件属于S型[38]、[39]。因此,本文旨在研究基于S型忆阻器的二阶和三阶神经元电路中尖峰振荡和混沌生成的机制。当然,这些发现也适用于N型忆阻器。
本文的新颖性和主要贡献总结如下:
1)基于信号变化率和能耗的尖峰振荡标准。
2)与忆阻器的瞬时电阻和微分电阻相关的尖峰/混沌。
3)硬件实验验证了理论和仿真结果。
其余部分的组织结构如下:第2节描述了尖峰振荡行为及其确定指标。第3节研究了LAMs模型表达式和参数对尖峰振荡和混沌的影响。第4节基于S型忆阻器硬件仿真器电路展示了实验验证结果。最后,第5节得出了简要结论。
部分摘录
尖峰描述
神经元中的尖峰振荡是指电压或电流的周期性信号,其特征是快速上升和下降[22]、[23],表示为y。快速上升的开始定义为放电时间ti(f),其中f = 1, 2…表示相应尖峰发生的索引。放电后,y的轨迹可以用狄拉克δ函数δ(t)和指数衰减来描述,如下所示: