霍普菲尔德神经网络的动态编辑

《Chaos, Solitons & Fractals》：Dynamics editing of the Hopfield neural network

陈晓伟|李春宝|刘王宇|张恒明|雷腾飞
中国南京信息科技大学长望荣誉学院，南京210044

摘要
每个神经元为了其生物功能都表现出多样的动态特性。这些模式之间的转换通常具有挑战性，通常需要通过参数调整来解决。因此，在实时性能和可重复性方面存在限制，从而影响了神经系统的功能切换。在这项工作中，基于对系统演化的观察，实现了自由动态的编辑。通过引入分段线性（PWL）反馈函数，收集了神经元的典型振荡，并将其整合到相同的相空间中，以便自由提取神经元动态。所有选定的动态都位于相应的吸引盆中，并且可以通过初始条件来调用，从而生成一个可编辑、任意访问和可重复的振荡库。吸引盆和编辑阈值是相互依赖的，这些都与由段和斜率特征化的编辑PWL函数有关。基于Euler离散化方案，所有编辑后的动态都在FPGA平台上实现，通过资源重用和初始条件切换来实现。

引言
神经元中的膜电位和离子通道的耦合总是导致丰富的动态行为[1]，[2]。诸如周期性振荡[3]，[4]、混沌尖峰[5]，[6]和混沌爆发[7]，[8]等动态行为构成了神经系统中的信息处理语言。不同的动态模式对应于不同的信息处理需求，而这些模式之间的转换代表了神经适应性的核心机制。
在现有的神经动力学研究中，特定模式的检索通常依赖于参数调整[9]，[10]，例如通过改变外部电流、离子通道电导率或耦合强度来诱导动态状态的转换。尽管这种方法在理论分析中是直观的，但在工程实现中通常面临两个问题。首先，系统通常需要同时调整多个耦合参数，而且在线调整过程通常被认为是开销。其次，参数漂移和设备误差会降低模式再现的一致性，使得在同一硬件平台上稳定再现多个模式变得困难。从工程角度来看，研究人员更需要一种结构简单、分析特性清晰且易于硬件实现的新机制，以便系统能够以低复杂度的方式完成模式存储和检索。
非线性系统的多稳态理论表明，不同的混沌系统可能表现出共存的周期性和混沌状态[11]，或者不同的混沌状态[12]，[13]，或者混沌和准周期性[14]，甚至混沌和超混沌[15]。此外，基于偏移增强[16]，[17]，共存解可以以对称性[18]，[19]、条件对称性[20]、自我复制[21]，[22]甚至动态编辑[23]等方式进行组织。在这些方法中，动态编辑可以有效满足工程应用的需求，从而为神经动力学的调控提供了新的途径。动态编辑的本质不在于通过参数扫描来寻找动态模式，而在于通过调整反馈结构人为地重新划分相空间，以便将不同的动态行为可控地嵌入到相同的相空间中。受此启发，对于HNN系统，通过在其状态通道中引入PWL反馈因子，可以将典型的动态行为收集到相同的相空间中。当动态由固定的参数组合决定时，每个参数都有独立的相空间。现在，相空间根据PWL函数进行划分，从而选定的解被放在共享相同相空间的地方。相空间的每个部分称为对应于不同动态的吸引盆。这种机制将传统的“参数决定模式”框架扩展为“初始条件主导模式”框架，在这种框架中，初始条件成为与系统参数同样重要的控制维度。通过动态编辑，研究人员可以将不同的动态（如周期性振荡、混沌尖峰和混沌爆发）组织成一个可寻址的模式库，在这里可以通过单一的初始条件注入来获得振荡模式，而不依赖于在线参数调整。
在动态编辑过程中，PWL函数和参数组合经常需要频繁切换。相应地，初始条件、阈值和段系数必须反复调整，以获得具有所需吸引子分布的共存吸引子。传统的模拟电路实现[24]难以满足快速迭代和灵活重构的需求。相比之下，FPGA具有显著的优势，包括强大的并行计算能力、低延迟、可重构逻辑和可配置参数[25]，能够在相对较高的时钟频率[26]，[27]下稳定再现离散迭代系统。此外，在工程参数调整和方案验证过程中，FPGA支持局部逻辑的快速更新，从而有效降低了与重复实验相关的实现成本和复杂性。
本文提出了一个用于神经系统的动态编辑框架，其中选择了3D HNN系统[28]，[29]作为承载四段PWL反馈函数的候选者，从而产生共存的动态。吸引盆的重新分配和基于FPGA的实现进一步验证了所提技术的有效性和工程可重复性。HNN系统的动态编辑整体框架如图1所示。在第二节中，首先介绍了系统的模型和基本动态特性。使用相位轨迹、李雅普诺夫指数谱和分岔分析来验证神经系统中的混沌行为和共存吸引子。在第三节中，构建了一个四段PWL函数来实现动态编辑，包括对系统状态的一维、二维和三维编辑，从而产生阵列化的共存振荡。在第四节中，分析了多稳态系统中吸引盆的分布特性，并进一步研究了编辑函数参数对吸引盆交换行为和相空间重分配的调节作用。在第五节中，通过在FPGA平台上进行离散迭代实现来再现编辑后的动态，并验证了其工程可行性。最后，在第六节中提出了本文的结论。

章节片段
HNN系统及其基本动态
HNN的状态向量是σ=xyzT，激活函数为istanhσ=tanh(x)/tanh(y)/tanh(z)T
神经元动态方程可以统一表示为σ?=?σ+ξ*tanh(σ)
其中，突触权重矩阵由ξ=abcdegijk给出
因此，由三个神经元组成的神经网络模型可以写为
x?=?x+atan(h*x)+btan(h*y)+ctanh(z)
y?=?y+dtanh(x)+etan(h*y)+gtanh(z)
z?=?z+itan(h*x)+jtan(h*y)+ktanh(z)
当初始条件设置为(0.1, ?0.1, 0.1)，参数选择为a = 3.8, b = ?1.9, c = ?0.7, d = ...

典型动态的提取
为了分析一维编辑系统，扫描参数，并绘制相应的分岔图以确定在相同的参数值下是否可以出现多个长期状态。如图3所示，在相同的h区间内同时出现了两种不同的稳定结果，表明在这个参数范围内存在多稳态。
x?=?h*x+atan(h*x)+btan(h*y)+ctanh(z)
y?=?y+dtanh(h*x)+etan(h*y)+gtanh(z)
z?=?z+itan(h*x)+jtan(h*y)+ktanh(z)

实现动态
动态编辑可以被视为从单参数控制的吸引子到多参数控制的吸引子组合的过程。这些吸引子的组合顺序和区间可以通过PWL编辑函数的参数来重新分配。图12展示了这一机制的示意图，在后续分析中进一步进行了验证。就像在地上画一个圆作为监狱一样，这里的PWL函数决定了出现顺序和空间...

基于FPGA平台的验证
为了在硬件平台上再现编辑后的连续混沌系统，微分方程必须首先离散化为迭代形式，然后映射到FPGA上的可实现操作链上。由于FPGA更适合离散时间计算，本文采用了Euler离散化方法，离散步长设置为ΔT = 0.001。在离散化过程中，状态更新可以表示为之前状态的累积...

结论与讨论
本文研究了一个动态可编辑的HNN混沌系统。将四段PWL映射引入非线性通道中。通过这种方式，在不改变系统维度或耦合结构的情况下，实现了多个共存吸引子的可控生成和空间转换。当系统参数保持不变时，不同的初始条件会落入不同的吸引盆中，从而能够基于地址访问不同的动态...

CRediT作者贡献声明
陈晓伟：撰写——原始草稿、可视化、调查。
李春宝：撰写——审阅与编辑、项目管理、资金获取、概念化。
刘王宇：撰写——审阅与编辑、软件、调查。
张恒明：验证、软件。
雷腾飞：撰写——审阅与编辑、验证、方法论。

利益冲突声明
我们声明没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢
本项工作得到了中国国家自然科学基金（授权号：62371242）的财政支持。