《Advanced Science》:Physical Implementation of Optical Material-Based Neural Networks Processing Enabled by Long-Persistent Luminescence
编辑推荐:
这篇研究论文提出并验证了利用长余辉发光(Long-persistent luminescence, LPL)材料作为新型光学人工突触物理基底的创新方案。研究人员采用AGa2O4(A = Mg, Ca, Sr, Ba)发光氧化物,利用其本征缺陷态实现优异的LPL特性,无需复杂材料工程。通过调控入射紫外光脉冲参数,可以精确调制材料的发光强度和衰减动力学,从而在单一LPL材料内实现光学激励、记忆保留和动态信号调制。研究首次物理实现了基于LPL材料的神经形态计算,包括物理神经网络(Physical Neural Network, PNN)和物理储层计算(Physical Reservoir Computing, PRC),并成功应用于实时Pong游戏决策和手写数字识别任务。该工作展示了LPL材料作为一种多功能平台,在开发高速、高带宽、低能耗的下一代全光学神经形态系统方面的巨大潜力。
文章内容归纳总结
引言
神经形态计算模仿人脑的并行处理能力,已成为克服传统冯·诺依曼架构瓶颈和能效低下的有前途的替代方案。其中,光神经形态器件因其高速、大带宽和最小信号串扰等优势而备受关注。然而,实现一个实用且可扩展的光子神经形态平台,需要能够在单一系统内同时执行光学激发、记忆保留和动态信号调制的材料。
本研究提出并探索了一种利用长余辉发光(Long-persistent luminescence, LPL)材料作为光学人工突触物理基底的新方法。LPL现象涉及激发电子被捕获在本征缺陷态中,随后通过热释放,产生持续余辉。这种固有的记忆效应直接模拟了生物突触可塑性。至关重要的是,可以通过控制入射紫外光脉冲的参数(如强度、持续时间和频率)来精确调制发光强度和衰减动力学。这种动态可调谐性使得LPL材料能够在纯光学领域模拟关键的突触功能。
研究人员采用了无掺杂的AGa2O4(AGO,其中A = Mg, Ca, Sr, Ba)氧化物,这些材料在紫外激发下表现出优异的LPL特性。利用这种固有的持久性,研究人员物理实现了一种基于光学材料的神经网络,能够进行实时神经形态计算。该系统在单个基于LPL的材料平台内集成了光学激发、记忆保留和信号读出。作为概念验证,该系统通过光驱动信号处理,在Pong游戏任务中执行了实时决策。此外,研究还展示了基于LPL的光电器件在实现两种关键神经形态架构方面的多功能性:物理储层计算和物理深度神经网络。
结果
AGO的光致发光与长余辉发光特性
在讨论突触功能之前,首先考察了AGO样品的光致发光(Photoluminescence, PL)特性,以确立其基本的发光行为。所有样品在紫外激发下都表现出独特的发射光谱。例如,MGO、CGO、SGO和BGO的PL峰分别位于420纳米、456纳米、390纳米和420纳米附近。这些氧化物中的发光源于本征缺陷态(如氧空位或镓-氧空位对)中的电子-空穴复合,无需任何外部掺杂剂。从热释光(Thermoluminescence, TL)特性估计,陷阱深度约为0.76至0.90电子伏特。
值得注意的是,AGO样品表现出强烈的LPL特性,这是实现本研究所探索的光学突触功能的关键性质。经过5分钟的紫外光照射后,所有AGO样品都表现出强烈且持久的余辉发射。这种LPL行为源于本征陷阱态充当电子和空穴的捕获中心。在紫外激发期间,电子和空穴被产生并随后被缺陷陷阱态捕获。激发停止后,被捕获的载流子被热释放并在发光中心辐射复合。广泛的缺陷态分布提供了一个陷阱景观,自然地产生非线性和衰减记忆,可被用于突触可塑性、储层类型的时间处理和激活类行为,而无需额外的电路元件。
AGO的基本突触行为:基于脉冲时序/持续时间的信号编码
基于已建立的发光机制,研究人员展示了利用底层发光过程的突触功能。突触功能的本质涉及将引入的信号转换为模拟生物突触的模拟响应。通过LPL实现这种行为,研究提出了两种实现突触信号编码的基本方法。
第一种方法是脉冲时序编码法,它利用两个连续的紫外脉冲激发来增强发光强度。这个概念基于依赖于两个紫外脉冲之间时间间隔的增强变化,即配对脉冲易化(Paired-pulse facilitation, PPF)。第二种方法是基于脉冲持续时间的信号编码法,通过调整脉冲宽度来改变发光的最大强度。通过这种方式,突触编码可以仅通过光学控制激发脉冲的时序和持续时间来编程。
为了验证这些方法,研究人员通过改变时间间隔和脉冲宽度两个参数来检查样品的突触可塑性。PPF被定义为第二个脉冲与第一个脉冲的发光峰值强度之比。实验结果表明,在固定的脉冲宽度下,更短的时间间隔会产生更强的增强。例如,在1毫秒间隔和2.5毫秒脉冲宽度下,增强达到了181.57%,但在2000毫秒间隔时逐渐降至105.67%。此外,在多脉冲条件下,随着脉冲频率的增加(即脉冲之间的时间间隔缩短),MGO表现出明显的增强增加。当频率从1赫兹增加到150赫兹时,最大增强值从130.3%增加到663.5%。
利用红外照射对基于LPL的突触发光进行状态重置
为了确保基于LPL的突触系统可靠且可重复地运行,研究人员引入了红外辅助的状态重置机制。在并行或重复的信号编码中,前一次操作残留的LPL发光可能会干扰后续处理。因此,实现有效的状态重置机制对于实用的神经形态器件是必要的。
实验发现,在没有重置处理的情况下,连续重复50次PPF操作,第一次峰值、第二次峰值和残余背景信号都随着重复次数的增加而增加,导致干扰和累积偏差。为了解决这个问题,研究人员在连续周期之间应用了50毫秒的红外照射。引入这个红外照射步骤有效地释放了周期之间被捕获的载流子,从而重置了发光状态。50次带有红外状态重置的重复PPF周期产生了高度一致和稳定的响应,所有参数几乎保持不变。这证实了该重置程序的有效性,并表明红外照射将发光信号降低到基线噪声水平,并抑制了后续操作中历史相关的干扰。
用于实时Pong游戏的物理神经网络实现
研究人员利用基于LPL的突触架构,演示了物理神经网络的实现。该架构将材料中LPL强度的变化用作激活函数后的突触响应的直接物理因素。通过调制入射紫外光脉冲的参数来精确编程这一点。由此产生的峰值发射随后被光学读出作为突触输出,构成了基于光学材料的神经计算的基础。
为了验证这种实际实现,研究人员选择了经典视频游戏Pong作为代表性任务,因为它结构简单、规则清晰且可视化直观。Pong游戏需要实时决策,是验证PNN功能的理想任务。所需的PNN可以以最小的配置实现,即一个简单的4x3神经网络,没有隐藏层。输入层包含四个节点,对应球的x和y坐标、球拍的x坐标以及球沿x轴的速度。输出层包含三个节点,代表可能的球拍移动:左移、右移和停止。
控制Pong玩家的神经网络的权重和偏置矩阵是预先在个人计算机上通过模拟,使用从MGO样品获得的PPF响应曲线进行训练的。PPF信号被用作网络的激活函数。PNN的操作配置包括一个集成的紫外/红外LED-MGO-光电二极管传感器模块,与LED控制电路、信号记录板和电源供应器耦合,所有这些都通过基于MATLAB的控制框架与个人计算机接口。通过这个接口,每个物理通道被独立处理,展示了PNN架构固有的并行性。
演示视频展示了由基于LPL的PNN驱动的实时Pong游戏。在视频中,左上角面板显示神经网络架构,右上角面板显示Pong游戏画面,左下角面板显示从样品获得的实时PPF信号,右下角面板显示由摄像机捕捉的PNN工作台的实时记录。基于LPL的PNN成功地进行了实时推断,并达到了100分的最终得分。结果表明,该PNN有效地实现了基于LPL的实时决策。
用于实时手写数字识别的物理深度神经网络和物理储层计算实现
随后,研究人员将基于LPL的突触架构扩展到更高级的神经形态计算框架,特别是物理深度神经网络和物理储层计算。为了验证这种能力,采用了MNIST手写数字识别任务作为代表性基准。LPL的尺度不变记忆行为有利于储层计算。在RC中,计算能力源于衰减记忆和非线性之间的平衡;纯线性系统会严重限制储层状态空间的丰富性。
为了实现PRC,研究采用了一种驱动垂直和水平对齐特征提取的简单方法。手写图像由28x28的二进制矩阵组成。研究人员提取了28个垂直一维数据点和28个水平一维数据点。随后,处理后的图像数据在预定义的时间窗口内转换为开关序列。每个像素映射到2毫秒的时间槽,从而实现对空间信息的时间编码。使用这种方法,生成了56个不同的开关序列,对应于像素列。这些时间编码的脉冲序列随后被引入到基于LPL的突触架构中,产生独特的LPL响应,反映了原始输入模式的时空特征。通过捕获每个LPL响应的最大强度,开关序列被转换为一维向量。研究人员在整个MNIST数据集上进行了这个PRC过程,为后续的手写数字识别任务做准备。
基于此框架,研究人员开发了用于实时手写数字识别的PDNN。PDNN代表了比简单PNN在结构上的进步。虽然两种架构都依赖于物理信号编码和通过突触加权的模拟计算,但PDNN包含一个或多个隐藏层,以实现分层特征提取。这个额外的深度对于解决更复杂的分类任务至关重要,其中非线性和抽象是必不可少的。
研究人员构建了PDNN作为一个58x32x10的神经网络,具有输入层、隐藏层和输出层结构。PDNN被设计为适合PRC处理后的模式数据。PDNN中的激活函数是使用基于脉冲持续时间的信号编码方法实现的。尽管当前的网络训练和推断是在计算上实现的,但研究人员特意使用从测量的材料响应推导出的激活函数来评估物理实现的可行性。通过这种方式,激活函数在概念上连接了实验测量的器件物理与神经网络功能,表明材料响应可以支持所需的非线性映射,而不依赖于算法方法。
在PDNN的预训练中,研究人员使用激活函数的拟合曲线作为激活函数。在预训练过程中采用了反向传播技术。模拟结果显示,经过100轮训练后,PDNN达到了88.72%的准确率。为了定量评估PDNN系统的性能,研究人员使用MNIST中的1000个验证数据集进行了额外的硬件级验证,达到了84.4%的准确率。
演示视频展示了使用PRC和PDNN系统进行手写数字识别的完整推断过程。在视频中,用户手动书写数字“3”作为实时输入,而非使用预加载的数据集。系统成功地识别了输入模式,输出层中对应数字“3”的节点显示出最高的激活值。
在当前的设置中,使用了单个基于LPL的突触器件,因此56维特征向量是通过时间复用的激发顺序获取的。这使得总推断时间受到脉冲持续时间和额外重置窗口的限制。然而,所提出的计算方案本质上与空间并行兼容。在由基于LPL的突触像素阵列组成的扩展架构中,特征提取所需的56个激发序列可以并行传递和读出,从而将每个图像的有效推断时间减少到单个激发-读出周期。
讨论
本研究引入了LPL材料作为光学人工突触的新型物理基底,并演示了基于LPL的突触架构的物理实现。研究人员采用了AGa2O4发光氧化物,由于其本征缺陷态,这些材料表现出优异的LPL特性。AGO的发光强度可以通过控制紫外激发脉冲的参数进行精确调节,从而能够直接模拟生物突触中观察到的突触可塑性。研究人员通过将信息编码为脉冲时序和脉冲持续时间依赖的LPL响应来实现突触信号处理,实现了同步的光学突触操作,并为物理深度神经网络和物理储层计算铺平了道路。
重要的是,研究表明,与残余发光相关的潜在限制通过红外辅助的状态重置协议得到了积极缓解,该协议加速了解捕获过程,并在操作之间恢复了基线状态。因此,系统在连续操作期间通过有效解耦记忆保留和响应速度,保持了稳定和响应迅速的行为。在此基础上,研究人员成功地将突触权重编码为发光状态,演示了硬件级推断。值得注意的是,这些基于LPL的PNN和PDNN架构提供了固有的并行性,这是实现可扩展神经形态系统的关键优势。基于LPL的系统的性能通过代表性任务得到了验证,包括实时Pong游戏和高精度MNIST手写数字识别。在Pong游戏中,基于光学材料的PNN自主掌握了游戏,并达到了100分的完美得分。组合的PDNN和PRC架构在MNIST手写数字识别任务的物理操作中实现了超过84.4%的出色准确率。这些发现表明,基于LPL的系统不仅仅是一个概念验证,而且是开发下一代光学神经形态硬件的多功能且强大的平台。
实验部分
AGa2O4样品是使用固态反应方法合成的。使用高纯度的MgO、SrCO3、CaCO3、BaCO3和Ga2O3作为原料。混合粉末经过研磨,在500°C下煅烧3小时,然后在1300°C下烧结10小时。为了将制备的粉末嵌入聚二甲基硅氧烷基质中,将PDMS和固化剂以3:7的比例混合并搅拌以获得硅胶前体。AGO粉末以1:1的重量比与硅胶前体混合。随后,将混合物缓慢倒入方形模具中直至完全覆盖。样品在真空室中静置30分钟以消除搅拌产生的气泡。最后,将带有样品的模具在50°C下预热1小时以硬化。
材料表征包括X射线衍射、扫描电子显微镜、能量色散X射线光谱、光致发光光谱、光致发光激发光谱、光致发光量子产率测量以及紫外脉冲诱导发光响应的记录。为了演示PRC和PDNN,使用了峰值波长为250纳米的商用紫外LED作为激发源,峰值波长为1050纳米的商用红外LED用于状态重置功能。集成的实验工作台按照紫外/红外LEDs/MGO/光电二极管光传感器的顺序结构化,并带有塑料导向支撑结构。PRC和PDNN操作由基于MATLAB的代码框架驱动。