一种适用于智能边缘设备的45.2微瓦实时ASL手势识别系统，该系统采用分层自相似二进制神经网络实现

《IEEE Transactions on Very Large Scale Integration (VLSI) Systems》：A 45.2-μW Real-Time ASL Gesture Recognition System With Hierarchical Self-Similar Binary Neural Network for Smart Edge Devices

提出了一种适用于智能边缘设备的超低功耗实时高精度手语识别系统LRASL，通过六阶段先进手部区域分割引擎AHRSE将输入压缩至32×32二进制手势，并采用硬件共享的分层自相似二进制神经网络引擎HSBNNE，有效解决相似手势识别难题，在28nm CMOS下实现45.2μW功耗和33.3ms延迟。

　　

摘要：

美国手语（ASL）由于其广泛的应用潜力而受到了越来越多的关注。本文介绍了一种专为智能边缘设备设计的超低功耗、实时高精度的ASL识别系统（LRASL）。该系统通过六阶段先进的手部区域分割引擎（AHRSE）和硬件共享的层次化自相似二值化神经网络引擎（HSBNNE）在准确性和功耗之间取得了平衡。AHRSE将640×480 RGB565格式的输入数据经过六阶段处理后压缩为32×32的二值化手势数据，实现了98.7%的尺寸缩减，并将HSBNNE的识别准确率提高了1.3%。值得注意的是，提取后的二值化ASL手势中仍存在相似的手势，这增加了识别难度并提高了硬件的功耗/资源需求。为了解决这一问题，本文提出了一种新型的微型层次化自相似二值化神经网络（HSBNN）模型，该模型具有共享层和双自相似专家分支结构。基于HSBNN模型构建的HSBNNN能够从粗略到详细地识别ASL手势（无论是相似的还是不同的手势），其识别准确率为95.8%，同时仅消耗3.96百万操作（MOPs）和2.86 KB的参数。自相似专家分支结构实现了硬件资源的最大化重用，降低了硬件开销和功耗。该系统采用TSMC 28纳米CMOS工艺实现，当工作在800 kHz时钟频率和0.6 V供电电压下时，功耗仅为45.2 μW，延迟为33.3毫秒。