编辑推荐:
本文受飞行昆虫动态视觉启发,研制了一种基于三嗪基共价有机框架/二硫化钼(Tr-COF/MoS2)异质结的闪烁噪声抑制实时视觉系统(FRIV)。该系统通过栅压调控,在单一平台复现了神经元轴突(同质结)与突触(异质结)的信号传导模式,实现了高达2100 bit s-1的信息传输速率。其集成的漏积分发放(LIF)神经元与突触器件可有效产生动作电位与突触后电位,显著抑制了累积阈值闪烁噪声。结合传感器内储层计算(RC),该系统能够以优化的训练流程对四类车辆运动轨迹进行识别,为视觉仿生领域的器件设计与应用提供了新思路。
引言
在长期进化优化的塑造下,生物视觉系统能够通过光转导和神经调控通路,提取对生存至关重要的时空特征。为了突破生物视觉的局限,受其启发的机器视觉已发展为一个快速进步的领域。当与人工智能相结合时,机器视觉系统可以无缝融合空间与时间数据流。在需要快速识别、判断和决策的实时应用中,持续提升这些系统的多模态感知能力至关重要,以应对复杂环境并在各种干扰下迅速做出判断。
机器视觉中的一个重大挑战是闪烁噪声,这是一种光谱密度与频率成反比的低频现象。这种噪声会导致图像亮度不规则波动,降低分辨率并损害图像处理算法。因此,抑制闪烁噪声对于提升自动驾驶、监控等在复杂光照条件下系统的性能和稳定性至关重要。神经计算依赖于两种互补的信号传导模式:轴突的电信号传导和突触的化学信号转导。这些模式促进了神经系统内快速高效的信息传递,协调感知、运动和复杂的生理与认知功能。飞行昆虫是这种高效性的典范,它们高度精细的视觉结构,如由数千个小眼组成的复眼,刷新率高达250-300赫兹,远超人眼。这使它们能够以卓越的时空分辨率处理视觉信息,实现快速识别与响应。在智能驾驶,尤其是高速场景中,有效的碰撞避免和路径规划受到物理硬件限制的约束。冯·诺依曼架构难以处理来自激光雷达、毫米波雷达、通用相机等多传感器阵列的海量数据,导致了当前自主系统的根本性瓶颈。为克服这些挑战,需要光子传感前端与神经突触后端的协同优化。信号滤波特性对于神经信号的完整传导至关重要,神经系统必须有效管理来自内外的噪声与干扰,以确保清晰、准确、高效的信息处理。实现紧密的光子-尖峰耦合,可以规避传统系统中数字噪声消除的能量需求,同时保留碰撞预测所需的关键特征。
在本研究中,我们介绍了一种仿生闪烁噪声抑制实时传感器内视觉系统(Flicker-noise-reduced Real-time In-sensor Visual system, FRIV),它复现了从光转导到运动编码的完整神经通路。我们通过将π共轭三嗪基共价有机框架与悬空少层二硫化钼沟道集成,开发了一个仿生神经形态平台,以模拟轴突和突触的信号传导过程。凭借其多孔结构,Tr-COF在光激发下诱导出光栅效应,模拟突触后电位传递。同时,具有可调空气间隙的悬空源/漏电极,使得栅压调控的动作电位传播成为可能,从而形成同质结并复现轴突信号动态。我们的系统分析表明,漏积分发放(Leaky Integrate-and-Fire, LIF)神经元行为可以通过波长依赖的光刺激和空气间隙的几何优化进行精确控制。通过级联两种不同的器件架构,我们全面模拟了神经信号传导通路,展示了能够有效抑制闪烁噪声的感知编码和基于阈值的滤波。
结果与讨论
昆虫拥有高度高效的动态视觉系统,专为在快速变化的环境中感知运动而优化。复眼捕获的视觉信号通过一个分层的薄板-髓质-小叶通路进行处理,其中早期阶段的噪声抑制和对比度调节,随后是时空整合和运动选择性处理。这种分层组织使昆虫能够直接从连续的亮度变化中提取与运动相关的特征,而非基于帧的图像重建。昆虫视觉时间处理能力的一个常用量化指标是闪烁融合频率,它反映了亮度调制能被解析为连续信号的最大频率。得益于复眼结构和高效的神经处理,蚊子、果蝇等飞行昆虫的闪烁融合频率可达约250-300赫兹。重要的是,尽管闪烁融合频率不代表昆虫运动处理通路的全部复杂性,但它为针对敏捷运动感知的人工视觉系统所需的时间分辨率和噪声容限提供了一个直观的基准。
生物体的神经活动大致可分为两部分:神经元轴突的电位变化和突触间的递质释放。当神经元受到刺激时,其膜上的钠通道打开,允许钠离子快速进入细胞,导致去极化并形成动作电位。紧接着,钾通道打开,钾离子流出细胞,使膜电位恢复到静息状态。动作电位将沿轴突向下传播,类似于“电流”沿导线传输。通过这种电位变化,信号可以从神经元的胞体快速传导至其末端。相应的,漏积分发放模型描述了神经元膜电位变化的过程。在突触处,电信号被转换为化学信号,神经递质释放到突触间隙,与下一个神经元结合,产生电导变化和电位累积,触发后续的神经活动。模拟神经活动的全过程可以实现更高效的信息传递。阈值触发机制可以防止信息通道被冗余或无用的信息占据。
得益于其良好的光电特性,二维材料为模拟神经元完整功能提供了一个多功能平台。本研究引入少层二硫化钼作为沟道,将其与Tr-COF和结构工程相结合,实现了高闪烁融合频率的突触感知和LIF神经元。我们前期工作合成了多孔层状Tr-COF。由于其构建单元的平面结构,确保了相邻层间的高π-π相互作用,从而获得了高结晶度的Tr-COF。为验证形貌,采用了扫描和透射电子显微镜。典型的Tr-COF透射电镜图像显示COF网络中存在丰富的孔隙。此外,高分辨透射电镜图像显示,观察到的0.363纳米晶面间距可归属于六方Tr-COF的(001)晶面。扫描电镜图像及相应的能量色散X射线光谱元素分布图显示C和N元素在COF网络中均匀分布。采用粉末X射线衍射图谱评估Tr-COF样品的结晶度,观察到的数个尖锐衍射峰表明其良好的结晶性质。具体而言,4.0°、12.1°和14.7°处的衍射峰分别归属于(100)、(110)和(130)晶面。而约25°处的衍射峰则对应于相邻层间的π-π堆积相互作用以及COF中的(001)晶面。此外,利用傅里叶变换红外光谱研究了Tr-COF的微观结构。观察到的两个典型振动带,分别位于1620厘米-1和1400厘米-1,归属于亚胺键中的ν(–N═C?)和吡啶环。这些结果表明成功形成了高结晶度、多孔的Tr-COF框架。
在器件制备中,将分散在乙醇中的Tr-COF旋涂到二硫化钼沟道表面,其中少层二硫化钼沟道通过机械剥离和物理转移制备。原子力显微镜和拉曼光谱均验证了二硫化钼沟道的层数和均匀性。当光刺激施加于沟道时,在能带效应下,电子-空穴对在界面处被有效分离。Tr-COF高度有序的多层孔结构可以促进光子在材料内的有效传输和扩散。此外,Tr-COF的面外π共轭结构导致载流子在面外方向的传输势垒较低,从而倾向于将载流子转移出沟道,并阻碍其在界面处的复合。面内(3.616)和面外(1.236)有效质量的密度泛函理论计算证实,载流子在面外方向具有更高的迁移率。更长的光生空穴寿命使得Tr-COF能够产生光栅效应,导致二硫化钼沟道中的光电流弛豫时间更长。通过光致发光谱图观察到的界面信号减弱进一步验证了二硫化钼与Tr-COF之间发生的载流子转移现象。在视觉感知中,适当的感知波段也是应用的重要前提。约1.8电子伏特的带隙使器件能够在可见光范围内被检测。
同一器件在与Tr-COF结合前后的光电响应表明,该器件成功地将响应模式从光电探测器转变为神经形态器件。具体而言,Tr-COF增强了器件的性能,包括光电流和探测率。另一方面,光栅效应使器件表现出分级神经元的时间总和特性。单独的Tr-COF的光响应也证明了异质结的功能性。一系列在突触间传递的基本神经过程,包括兴奋性突触后电流、脉冲持续时间依赖可塑性、脉冲频率依赖可塑性和脉冲数量依赖可塑性,均成功实现。其中,相应的532纳米和635纳米波长的突触后响应已展示。通过比较不同波段的响应,FRIV器件表现出波长选择性特性,对短波长光刺激表现出增强的兴奋性突触后电流响应。长时程增强是学习和记忆的生物学基础,它通过突触连接的快速神经权重继承,实现神经网络可塑性和信息编码与信号传递。该器件在可见光波段展示了不同光功率密度下的有效长时程增强特性。相应地,成对脉冲易化是短时程突触可塑性的标志,它模拟了钙离子在响应两个连续刺激时在突触前膜的积累过程。展示了可见光范围光照射下视觉器件的不同成对脉冲易化特性。
总体而言,引入Tr-COF/二硫化钼异质结有效增强了器件的光电性能,实现了1.86 × 104A W?1的响应度。此外,光栅效应延长了二硫化钼沟道中的载流子寿命,使得模拟突触后电位成为可能。
快速视觉感知在群体飞行或躲避捕食者中扮演重要角色。得益于Tr-COF和二硫化钼异质结的高光电转换效率,该视觉器件对高频可见光脉冲表现出突触后电位响应。在1000赫兹光脉冲刺激下,该器件实现了单脉冲和三脉冲下的有效电导积累。当对器件施加1000赫兹连续脉冲时,兴奋性突触后电流逐渐增加然后饱和。连续增强的光栅效应维持了沟道的载流子浓度并逐渐稳定。理解高频刺激下的长时程增强特性是识别快速运动物体的重要前提。频域信噪比衡量了信号在频域中的清晰度和干扰程度。通过傅里叶变换将兴奋性突触后电流时间域转换到频域,信噪比关于频率的分布已给出。随后,使用香农方程从频率依赖的信噪比中提取了信息传输速率参数,该参数表征了单位时间传输的信息量。对于功率密度为11.6毫瓦每平方厘米的405纳米波长输入,提取出的信息传输速率为2100比特每秒。高信息传输速率值证明了高效的突触间信息传递,暗示了敏捷运动感知的潜力。为评估编码时间信息的能力,展示了具有梯度变化的5比特编码过程。数字“1”和“0”分别代表有和无3.1毫瓦每平方厘米的405纳米波长照射。兴奋性突触后电流高度依赖于光照序列,揭示了在编码过程中对不同五帧动作的分离响应。右侧两图分别展示了“10101”和“11011”的典型编码过程。
当栅压施加到FRIV器件上时,响应模式从突触间转变为轴突。漏积分发放神经元有效地模拟了动作电位的阈值累积和释放过程。具体而言,胞体会整合突触后膜接收到的电位信息,并在达到阈值时触发动作电位。动作电位通过钠离子流入和钾离子流出的去极化和复极化过程沿轴突传递,使膜电位返回静息状态。有限数量的光刺激在栅压调制下无法实现电导的累积以产生动作电位。如图所示,与突触间响应不同,可见光范围内的单个光脉冲只能产生小的动作电位电流,并在栅压为-6伏时迅速返回静息状态。随着脉冲数增加,电导开始累积,无法恢复到初始状态,最终达到触发阈值。
当栅压作用于二硫化钼沟道时,源/漏端的结构显著影响沟道的电导变化。我们使用有限元方法,通过COMSOL Multiphysics半导体模块的稳态分析方法,模拟了电势分布和载流子浓度。在悬空结构中,二硫化钼在源漏结处不与二氧化硅绝缘层接触。因此,施加负栅压时,与二氧化硅绝缘层接触的二硫化钼沟道部分,由于介电常数不同,将比与空气接触的部分具有更高的电势能。整个沟道的电子浓度分布被定量绘制,相应的结构表征由扫描电镜提供。扫描电镜图像清晰地显示了在10微米沟道长度器件中,源漏界面处设计有空气间隙,证明了悬空架构的成功制备。器件的横截面示意图见图。由于强电容耦合引起的能带结构变化,在同质沟道中引入了势垒,模拟了漏积分发放神经元的电位累积过程。光子的额外能量使得载流子能够累积并最终跨越势垒,导致动作电位电流充分显著的累积和相应的电导增加。因此,在相同功率密度下,短波长光刺激更容易达到激发状态。
栅压在漏积分发放神经元中的调节影响了钾离子和钠离子通道的敏感性。我们探索了不同栅压对FRIV器件响应可见光范围输入的影响。很明显,势垒高度受到栅压的有效调节。特别是对于532纳米和635纳米输入,栅压可以调节突触间和轴突的信号传导模式。此外,在电导累积并触发后,动作电位电流的变化更线性,提高了计算效率。然后,我们进一步研究了源漏空气间隙对器件性能的影响,这与沟道长度直接相关。首先,我们使用顶接触器件结构以消除源漏结处的空气间隙。在这种情况下,即使施加-20伏的栅极偏压,器件的栅压调制也显著减弱。532纳米光脉冲使得漏积分发放神经元响应难以在源漏底栅顶接触器件结构中实现。兴奋性突触后电流的整体下降主要是由于沟道-界面散射和较大负栅压引起的耗尽效应。类似地,使用更长波长(635纳米)光照射,在栅压为-10伏时仍未实现漏积分发放神经元响应。随后,在验证了空气间隙结构的效果后,我们调整沟道长度以控制底栅底接触结构中的源漏空气间隙大小。器件的扫描电镜图像显示了2微米沟道的器件。在这种情况下,栅压