生物识别技术,如面部识别[1]、掌纹识别[2]和手指静脉识别[3],已经引起了全球的关注,并广泛应用于各种身份验证领域。作为生物识别技术之一,手指静脉识别具有两个优势[4]:1) 手指内部的静脉血管天然具有抗窃取和复制的能力,从而为识别系统提供了高安全性;2) 只有活体手指的静脉血管才能被捕获并用于识别,这使得它具备了生物体识别的能力。由于上述优势,手指静脉识别得到了广泛研究,并取得了一些有前景的研究成果[5]、[6]。
大多数手指静脉识别系统处理的图像包含几乎整个手指的静脉血管。换句话说,现有的大多数手指静脉识别方法都是基于这样的假设:手指静脉传感器可以捕捉到几乎整个手指的静脉血管。一些典型的工作包括:使用生成对抗网络[7]进行静脉图案分割,并通过测量重叠点数量来评估两个静脉图案的相似性;在[8]中,将静脉图案的方向编码为二进制代码用于手指静脉索引,并将索引方法与静脉图案匹配结合,以获得基于静脉图案的索引-匹配集成框架。最近,还提出了多视图和全视图手指静脉识别方法。设计了一种基于镜子的全视图手指静脉捕获设备[9],以及一种用于多视图手指静脉识别的静脉图案约束Transformer[10]。使用合成生成器创建了一个大规模手指静脉数据集[11],包含来自50,000个手指的500万张图像。每个手指由100张图像表示,这些图像包含了移位、旋转、缩放、滚动等多种变化。
然而,部分手指静脉识别(即识别部分手指静脉图像)却鲜有关注。最近,手指静脉传感器被嵌入到个人识别设备中,例如智能门锁和智能考勤机。这些设备的小型化限制了手指静脉传感器的尺寸。上述传感器的成像窗口可能小于成人的食指,因此只能捕获部分手指静脉图像。此外,在指纹和手指静脉双模态成像设备中,用于手指静脉采集的区域通常不到手指的三分之二。当某些人的指纹不可用或质量较差时,部分手指静脉识别成为必要的替代方案[12]。在这种情况下,从部分图像中提取丰富的判别信息对于部分手指静脉识别至关重要。
多特征融合是获取生物识别中丰富判别信息的一种有用方法[13]。在手指静脉识别中,也使用特征融合来提升性能。提出了一种多感受野卷积神经网络(CNN)[14],从不同感受野中提取特征,并进一步使用维度迭代注意力来加强连接的多感受野特征,其性能优于六层深度网络。通过局部约束的一致性字典学习方法[12]融合了静脉图案、纹理特征和方向特征,在部分手指静脉识别中取得了有希望的性能。通过CNN的不同分支提取的特征被连接起来用于手指静脉识别[15]。此外,在卷积网络的两个分支中分别采用了卷积块注意力和加权注意力[16]。提取的特征随后通过加权求和进行融合,从而实现了强大的识别性能。
上述大多数方法依赖于连接操作或求和操作来进行特征融合。然而,明显缺乏在特征融合之前增强特征的特征嵌入机制。这些操作也没有考虑不同特征之间的相关性。此外,大多数基于注意力的特征增强方法只考虑了二维空间中的位置信息,忽略了通道方向上的位置信息。这可能导致无法充分利用多个方向(即X轴方向、Y轴方向和通道方向)上的位置信息。因此,如何有效地从多个特征中挖掘判别信息是部分手指静脉识别的一个值得研究的问题。
本文提出了一种用于部分手指静脉识别的多尺度特征嵌入、融合和增强网络。在提出的网络中,首先通过具有不同卷积核的多个深度可分离卷积分支提取多尺度特征。其次,提出了一种跨尺度特征嵌入模块,通过将不同尺度的特征相互嵌入来增强每个尺度的特征。第三,计算多尺度特征之间的相关矩阵,并设计了一种基于相关性的特征融合模块来整合多尺度特征。最后,设计了一种跨空间多方向注意力机制,进一步强调融合特征及其来自两个特征空间和多个方向的伪特征。在实验中,我们通过从两个广泛使用的数据库中剪出局部部分来构建两个部分手指静脉数据库,并在两个部分数据库和两个完整数据库上测试了我们的网络。实验结果表明,我们的网络比对比方法具有更好的性能。
我们的主要贡献总结如下:(a) 提出了一种用于部分手指静脉识别的多尺度特征嵌入、融合和增强网络。(b) 我们提出了一种特征嵌入模块,通过将不同尺度的特征相互嵌入来增强每个尺度的特征。(c) 我们提出了一种基于相关性的特征融合模块,增强了多尺度特征的有用相关性信息。(d) 设计了一种跨空间多方向注意力机制,用于突出融合特征及其伪特征。
本文的其余部分组织如下。第2节回顾了典型的手指静脉识别方法。第3节详细介绍了我们的多尺度特征嵌入、融合和增强网络。第4节报告了在两个部分手指静脉数据库和两个完整手指静脉数据库上的实验结果。最后,在第5节得出结论。