通过全光控制神经形态器件实现的光敏多色视觉信息处理

《Nano Energy》：In-sensor polychromatic visual information processing enabled by all-optical controlled neuromorphic devices

多光谱神经形态器件基于ZnO/Nb?O?异质结，集成传感、记忆与计算，实现620nm/460nm光诱导可逆电导调制，支持混合颜色识别（88.43%）和花朵分类（84.63%），具备宽光谱响应（365-660nm）与光控突触可塑性，推动低功耗智能视觉系统发展。

　　

Dunan Hu | Ruqi Yang | Honglie Lin | Qiujiang Chen | Lu Chen | Yang Tian | Kequan Xia | Jianguo Lu

中国浙江省杭州市浙江大学材料科学与工程学院硅与先进半导体材料国家重点实验室，310058

摘要

传统的视觉系统依赖于CMOS图像传感器，通常需要大量的计算资源和网络传输。特别是在处理彩色图像时，它们会遇到系统延迟和高功耗等问题。为了解决这些挑战，集成感知、存储和计算功能的仿生神经形态视觉传感器受到了广泛关注。本文首次报道了一种基于非晶ZnO/Nb?O?异质结的多光谱全光控制神经形态器件，该器件将感知和人工突触功能集成在一个设备中。该器件表现出可编程的光诱导可逆导电性，在620 nm和460 nm波长下分别模拟兴奋性和抑制性突触后电流。重要的是，它具有宽光谱响应（365 nm-660 nm）和多光谱选择性。这种多光谱突触权重矩阵使得在设备内部进行多色视觉识别和分类任务成为可能，包括混合颜色数字、花卉图像和交通信号灯的识别。这项工作实现了感知、存储、全光控制写入/擦除、多光谱感知和计算的集成，为低功耗、宽光谱和智能神经形态视觉系统提供了一种有前景的材料解决方案。

引言

传统的视觉系统依赖CMOS图像传感器来捕获光信号，然后这些信号会经过ADC转换和数字处理等多个后续步骤[1]。这不仅导致工作流程繁琐，而且能效低下。特别是在处理动态、彩色和基于事件的图像时，系统延迟和高功耗的缺点变得更加明显，成为限制性能提升的关键瓶颈[2]。相比之下，人类视觉系统是一种高度进化、智能的感知机制，具有出色的信息获取和处理能力[3],[4]。它能够高效地收集信息，通过多种通道进行感知，并在复杂的光照条件下快速响应[5],[6]。受此启发，神经形态器件领域迅速发展，旨在在材料和结构层面模拟生物视觉机制，并构建集成感知、存储和处理的神经形态视觉传感器[7],[8]。通过将部分计算功能卸载到传感器端，传感器内计算显著提高了系统处理效率，从而减少了存储单元和计算单元之间的数据传输损失[9]。近年来，集成传感器与人造突触的“传感器内计算”单元器件已成为神经形态视觉系统的核心组成部分[10]。 然而，传统的人造突触高度依赖于光电信号协同机制[11],[12]。因此，全光控制（AOC）突触器件引起了研究人员的广泛关注。例如，Song等人[13]将兴奋性和抑制性IGZO突触光敏晶体管串联连接，实现了完全由光触发的增强和抑制效应。Zhang等人[14]基于IGZO/SnO/SnS三层异质结构制造了可重构的双向光响应突触器件。Li等人[15]提出了一种级联异质结策略，用于在深紫外波段构建神经形态感知。然而，这些器件通常结构复杂，制造过程繁琐。最重要的是，缺乏多波长选择性和感知能力限制了它们在高维视觉系统中的应用，难以同时支持多种神经网络架构。因此，开发具有多光谱特异性的AOC突触器件成为关键[16],[17]。这类器件不仅需要对宽光谱内不同波长的光信号敏感，还要在低功耗条件下表现出可调、稳定和可逆的突触可塑性，从而实现全光传感器内计算[18],[19],[20]。 非晶氧化物半导体（AOS）是一种与CMOS技术兼容的材料，广泛应用于忆阻器和突触器件[21],[22],[23],[24]。AOS材料具有大量的内在缺陷，因此在紫外到可见光范围内能够产生光电响应。此外，异质结构器件已成为AOC突触器件最有前景的方法之一[25],[26],[27]。异质结不仅允许构建合适的带结构，还引入了界面缺陷，使得器件具有宽光谱和多光谱光电导性。为此，我们使用了非晶ZnO和Nb?O?，这两种材料在室温下可大规模制造，有利于未来的商业化。 在这项工作中，我们首次报道了基于非晶ZnO/Nb?O?异质结的多光谱感知AOC突触器件的开发。更重要的是，我们将感知、存储和计算集成到一个设备中，实现了高效的颜色图像处理的光学可重构传感器内计算架构。在620 nm红光下，该器件表现出正的光电导（PPC）行为，而在460 nm蓝光下则表现出负的光电导（NPC）行为，实现了完全光控的可逆导电调制。值得注意的是，该器件在宽光谱（紫外到红光）刺激下表现出强烈的波长选择性，并构建了多光谱突触权重矩阵。基于该多光谱权重矩阵，我们使用人工神经网络（ANN）实现了混合颜色手写数字的识别，使用卷积神经网络（CNN）实现了全彩色花卉图像的分类，准确率分别为88.43%和84.63%。此外，利用响应曲线的差异，我们提出了一种基于深度学习的自动驾驶场景下的交通信号灯识别策略，准确率为82.58%，验证了该器件在智能驾驶中的应用潜力。这种突触器件不仅在全光控制下模拟了光学可塑性，还表现出优异的多波长调制能力，突显了其在多光谱神经形态计算中的巨大潜力。通过将传感器与人造突触集成在一个设备中实现传感器内计算，为神经形态视觉系统提供了一种有前景的材料解决方案。

器件的制备与表征

生物视觉系统通常包括三个连续阶段：光感知、信号传输和高级神经处理。相比之下，机器视觉系统依赖于图像传感器与神经形态计算架构的结合。如图1a所示，在生物视觉中，光刺激由视网膜中的光感受器转换为电信号，然后通过突触以兴奋性或抑制性突触后电流（EPSC/IPSC）的形式传递。

结论

本文提出了一种受人类视觉系统启发的多光谱感知突触器件，解决了传统视觉系统中集成感知、存储和计算的关键问题。该器件基于非晶ZnO/Nb?O?异质结构，在620 nm红光和460 nm蓝光下能够模拟兴奋性和抑制性突触可塑性，包括EPSC/IPSC、STP/LTP、STD/LTD、PPF和学习记忆功能。

器件制备

使用PLD技术在石英玻璃和SiO?/Si基底上沉积了ZnO和Nb?O?薄膜，膜厚度分别约为25 nm和50 nm。基底尺寸均为10 mm×10 mm。沉积前，所有基底分别在丙酮、乙醇和去离子水中超声清洗30分钟，然后用高纯度氮气干燥。首先使用Nb?O?（Nb?O?:ZnO = 98:2 mol%）复合靶材沉积Nb?O?薄膜。

CRediT作者贡献声明

Dunan Hu：撰写——原始草案、方法论、形式分析、数据管理、概念化。Lu Chen：研究、数据管理。Qiujiang Chen：研究、数据管理。Honglie Lin：研究、形式分析。Ruqi Yang：研究、形式分析。Jianguo Lu：撰写——审稿与编辑、资金获取、概念化。Kequan Xia：撰写——审稿与编辑、可视化、形式分析。Yang Tian：撰写——审稿与编辑、可视化、形式分析。

利益冲突声明

作者声明没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

致谢

本工作得到了浙江省自然科学基金（项目编号LZ24E020001）的支持。

Dunan Hu目前是中国浙江大学材料科学与工程学院硅与先进半导体材料国家重点实验室的博士候选人。她于2023年获得中国矿业大学的学士学位，研究兴趣集中在人造突触器件领域。