一种具有记忆电阻特性的模糊神经网络及其在分类任务中的应用:一种可编程电路系统

《Neural Networks》:A Memristive Fuzzy Neural Network With Applications to Classification Task: A Programmable Circuit System

【字体: 时间:2026年01月09日 来源:Neural Networks 6.3

编辑推荐:

  模糊神经网络硬件实现与存算一体架构设计,提出基于三维交叉阵列的M-FNN系统,优化一阶T-S模型并设计时间调度机制,实现高速低功耗分类加速,误差容错实验验证鲁棒性。

  
姜宁业|姜明轩|谢巨鹏|黄浩恩|李德鹏|曾志刚
华中科技大学人工智能与自动化学院,武汉,430074,中国

摘要

受模糊推理系统和神经网络的启发,本文提出了一种基于忆阻器的模糊神经网络(M-FNN)的设计,并将其应用于分类任务,该网络采用计算在内存(CIM)架构实现。具体而言,对一阶T-S模型进行了修改,以适应三维忆阻器交叉阵列(3-D MCA)的硬件部署。基于此模型构建了整个M-FNN架构,时间控制调度使得连续样本处理成为可能。引入了专用的写入方案和多个功能模块,以及外围电路方案以提高可编程性。在多个机器学习数据集上的各种分类实验表明了M-FNN的适应性。容错结果进一步验证了其在模拟计算中的鲁棒性。与基于ASIC的方案相比,所提出的M-FNN具有更高的可编程性,可以灵活调整输入、规则和输出。此外,与CPU和FPGA等可编程芯片相比,M-FNN在推理速度、集成面积和功耗方面分别提高了1.35×10^5倍、914倍和33倍。

引言

模糊推理系统是一种解决不确定性和模糊问题的强大方法,因为它源自人类决策过程。1965年Zadeh提出模糊逻辑后,相继出现了Mamdani型(Mamdani和Assilian,1975年)和Takagi-Sugeno型(Takagi和Sugeno,1985年)模糊系统。随后,Jang等人(1993年)首次将神经网络的拓扑连接和机器学习的参数训练方法应用于一阶T-S型模糊逻辑,从而创建了基于自适应网络的模糊推理系统,即模糊神经网络(FNN)。由于其高可解释性和快速收敛性,人们投入了大量努力开发各种FNN类型的模型(Das等人,2020年),包括模糊卷积神经网络(Nguyen等人,2019年)、模糊受限玻尔兹曼机(Chen等人,2015年)和模糊细胞神经网络(Subramaniam和Mani,2024年)。
除了模糊推理系统的数学模型进展外,模糊电路的研究在过去几十年中也取得了显著发展。与软件或通用串行处理器相比,模糊电路在实时响应和执行效率方面具有优势(Zavala和Nieto,2011年)。迄今为止,主要的模糊电路通常部署在专用集成电路(ASIC)(Behbahani等人,2024年;Ghasemzadeh和Hadidi,2020年;Mahdipour等人,2015年;Roy等人,2011年)或现场可编程门阵列(FPGA)(Juang和Juang,2012年;Zhang等人,2023年)上。基于FPGA的模糊电路是纯数字计算系统,而ASIC可以进一步分为模拟、数字或混合信号系统。面对具有大量样本、输入输出和规则的复杂分类任务时,上述模糊电路需要大量的存储单元来存储参数和中间值(Behbahani等人,2024年;Ghasemzadeh和Hadidi,2020年;Juang和Juang,2012年;Mahdipour等人,2015年;Roy等人,2011年;Zhang等人,2023年),这会导致大量的面积、功耗和延迟消耗(Yan等人,2019年)。因此,需要构建计算在内存(CIM)架构来有效减轻数据迁移的影响。
此外,Chua在1971年提供了忆阻器的理论模型(Chua,1971年)。直到2008年,HP实验室的Strukov等人(2008年)首次设计并制造出了忆阻器设备。忆阻器是一种具有非易失性、快速切换、电阻可塑性和高集成潜力等优异特性的无源双端器件。这些特性使忆阻器成为实现CIM系统的有希望的候选者(Sebastian等人,2020年)。因此,开展了大量与忆阻器技术相关的工作。例如,Li等人(2018年)描述了一晶体管一电阻(1T1R)交叉阵列的结构。由于忆阻器交叉阵列(MCA)的纳米级尺寸和良好的可扩展性,它被广泛用于实现各种神经网络电路(Jiang等人,2025b;Peng等人,2025;Wan等人,2025;Yao等人,2020;Youn等人,2024;Zhang等人,2018)。此外,Adam等人(2016年)通过垂直堆叠单层MCA制造了三维(3-D)阵列,显著提高了忆阻器单元的集成密度,并将其应用于某些神经网络电路(An等人,2019;Huo等人,2020;Lin等人,2020)。大多数3-D MCA与CMOS技术兼容(Xia和Yang,2019),便于在模拟域内进行计算。
近年来,一些相关工作尝试设计忆阻器模糊电路或将模糊方法应用于其他忆阻器电路。例如,Wen等人(2018)使用模糊推理方法自适应调整忆阻器多层神经网络的学习率。此外,Zhang等人(2020)定义了忆阻器非理想导电状态,以提高具有模糊逻辑特性的忆阻器卷积神经网络的图像识别精度。Huang等人(2022)引入了基于1T1R MCA的最大最小逻辑计算模块。此外,Farnood等人(2012)利用MCA实现了隶属函数(MF)模块。然而,这些模糊方法的电路实现存在不足之处(Huang等人,2022;MerrikhBayat和Shouraki,2012;Wen等人,2018;Zhang等人,2020)。其中,模糊推理方法被视为辅助方法,并通过软件执行(Wen等人,2018;Zhang等人,2020),并且只采用了模糊推理电路的部分单元,而不是完整的电路实现(Huang等人,2022;MerrikhBayat和Shouraki,2012)。尽管有几项研究(Gabriel等人,2019;Ghasemzadeh和Hadidi,2020;Li等人,2024;Mahdipour等人,2015;Mottaghi等人,2007;Naderi等人,2011;Roy等人,2011;Tarkhan和Maymandi,2018;Yosefi等人,2011)提出了完整的模糊系统电路方案,但基于模拟-数字混合信号(Gabriel等人,2019;Ghasemzadeh和Hadidi,2020;Mottaghi等人,2007;Naderi等人,2011;Tarkhan和Maymandi,2018;Yosefi等人,2011)或纯数字信号(Roy等人,2011)的物理实现通常会导致较高的数字存储器和逻辑器件消耗。此外,Li等人(2024;Mahdipour等人,2015)基于零阶T-S模型开发了全模拟电路方案,该方案作为规则定制的专家系统运行,但缺乏自适应参数(Jang,1993)。总之,在实现全模拟计算的忆阻器FNN(M-FNN)电路系统方面仍存在研究空白。
FNN模型具有处理各种智能任务的自适应网络结构。然而,这种适应性也引入了较大的权重参数和更高的计算复杂性。在这种情况下,M-FNN需要大量的存储单元和功能单元来存储中间值和执行前向计算。为了适应各种分类任务配置,设计灵活的控制逻辑以确保M-FNN系统的电路级可编程性至关重要。忆阻器CIM架构支持计算和存储的本地化执行,消除了对额外数字计算或存储单元的需求。具体而言,3-D MCA可以并行执行多个向量-矩阵乘法(VMM),非常适合通过模拟计算实现FNN模型的后续规则。总之,M-FNN的前向计算过程可以使用全模拟电路实现,而无需任何模拟-数字转换器(ADC)、数字-模拟转换器(DAC)和数字存储单元。这在速度、面积和功耗方面优于模拟-数字混合或纯数字电路实现,使其更适合边缘计算部署。
另一方面,与数字电路相比,模拟电路在现实世界的分类应用中对内部错误和外部噪声更敏感。大多数实际硬件错误可以分为三类:器件变异、输入噪声或粘滞故障(SAFs),这些错误在实际操作条件下占主导地位。此外,由于制造不完美,忆阻器通常表现出比其他成熟模拟组件更显著的器件非理想特性(Yao等人,2020)。这些非理想特性会显著降低模拟计算系统的分类精度。然而,由于输入模糊化和自适应网络结构,FNN模型表现出强大的抗噪声能力和容错能力。先前的研究(Das等人,2020)表明,即使输入样本受到严重噪声干扰或部分缺失,FNN也能保持强大的识别性能。通过利用这些特性,将FNN模型与3-D MCA电路集成可以提高容错/抗噪声能力和系统级分类精度。
本文提出了一种结合忆阻器CIM计算效率的FNN系统,该系统具有抗噪声能力和时间多路复用控制方案。这种全模拟电路方案的M-FNN可以在芯片上执行所有前向计算过程,包括模糊化、推理和加权输出。此外,还设计了一些新颖的电路方案,如并行读/写(R/W)模块,以进一步减少忆阻器中的器件错误(Jiang等人,2025a)。我们工作的主要贡献如下:
  • 1)
    据我们所知,这是第一个基于CIM架构为FNN设计的全模拟电路方案。与现有的基于模糊的ASIC相比,所提出的M-FNN支持电路级可编程性,允许根据不同任务调整输入、规则和输出。
  • 2)
    所提出的M-FNN在不使用任何离散ADC、DAC或数字存储单元的情况下运行。因此,与数字可编程芯片实现相比,它在推理速度、集成面积和功耗方面具有优势,更适合边缘计算部署。
  • 3)
    通过考虑三种代表性电路错误及其组合效应的容错实验评估了M-FNN的鲁棒性。与仅考虑一种或两种错误的先前研究相比,这种方法更准确地反映了实际硬件特性。
  • 本文的其余部分组织如下。第2节介绍了一阶T-S模型、忆阻器模型和3-D MCA电路。接下来,第3节展示了硬件友好的FNN及其电路架构。第4节进行了相关性能分析,验证了所提出M-FNN的能力。最后,在第5节得出结论。

    章节片段

    初步介绍

    本节介绍了相关的一阶T-S模型、忆阻器模型和3-D MCA的介绍。

    M-FNN电路系统

    在本节中,我们提出了一种集成CIM能力和可编程性的M-FNN设计。首先,我们通过修改和优化一阶T-S的计算数据流,使其适用于3-D MCA。基于硬件友好的基线,我们展示了由时间信号驱动的M-FNN架构。其次,我们提出了用于写入3-D MCA的并行R/W模块的工作原理。

    仿真实验和性能分析

    在本节中,验证和分析了所提出的M-FNN电路系统。首先,选择多个机器学习数据集来测试M-FNN在分类实验中的准确性,以验证其可编程性。其次,进行了容错实验以展示M-FNN的鲁棒性。最后,与基于ASIC的方案相比,所提出的M-FNN利用了其可编程性。

    结论

    本文提出了一种应用于分类任务的忆阻器模糊神经网络(M-FNN)。首先,修改了现有的一阶T-S模型的计算过程和数据流,以构建一个硬件友好的模型。之后,构建了由时间调度控制的M-FNN的整体架构,以实现连续样本处理。此外,还提供了额外的电路方案和原理图以扩展其可编程性。

    CRediT作者贡献声明

    姜宁业:撰写 – 审稿与编辑,撰写 – 原始草稿,软件,方法论,概念化。姜明轩:验证,监督,软件。谢巨鹏:可视化,验证,软件。黄浩恩:监督,项目管理,资金获取。李德鹏:监督,资金获取,数据管理。曾志刚:监督,项目管理,资金获取。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

    致谢

    本工作得到了中国国家重点研发计划(项目编号2021ZD0201300)、计算智能与智能控制111项目(项目编号B18024)、湖北省杰出研究团队基金会(项目编号2025AFA012)、华中科技大学基本研究基金(项目编号2025JYCXJJ071)以及中国国家自然科学基金(项目编号623B2040.3)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普
    • 急聘职位
    • 高薪职位

    知名企业招聘

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号