多特征嵌入、融合与增强技术在部分手指静脉识别中的应用

《Pattern Recognition》:Multi-feature Embedding, Fusion and Enhancement for Partial Finger Vein Recognition

【字体: 时间:2026年03月07日 来源:Pattern Recognition 7.6

编辑推荐:

  部分指纹静脉识别通过多尺度特征嵌入、融合与增强网络实现,采用深度可分离卷积提取多尺度特征,交叉嵌入模块提升特征表达能力,相关性矩阵引导特征融合,跨空间多方向注意力机制增强关键特征,实验在多个数据库上达到94.87%~99.86%识别率和1.87%~0.07%EER,优于现有方法

  
李恩彦|杨璐|张振|王强昌|尹一龙
山东建筑大学计算机科学与技术学院,济南,250101,中国

摘要

由于手指静脉识别具有高安全性和生物体识别能力,因此受到了广泛研究。然而,部分手指静脉识别(即识别部分手指静脉图像)却鲜有关注。为了解决这一问题,本文提出了一种多尺度特征嵌入、融合和增强网络用于部分手指静脉识别。在该网络中,首先通过不同的深度可分离卷积分支从部分手指静脉图像中提取多尺度特征。然后,提出了一种跨尺度特征嵌入模块,通过将多尺度特征相互嵌入来增强特征。进一步,设计了一种基于相关性的融合模块来融合多尺度特征,其中增强了多尺度特征之间的相关性。最后,从融合特征中生成伪特征,并通过提出的跨空间多方向注意力机制对其进行突出显示。在两个部分手指静脉数据库和两个完整手指静脉数据库上进行了大量实验,实验结果表明我们的网络具有竞争力,识别率分别为94.87%、95.56%、99.04%和99.86%,错误率分别为1.87%、1.71%、0.38%和0.07%。

引言

生物识别技术,如面部识别[1]、掌纹识别[2]和手指静脉识别[3],已经引起了全球的关注,并广泛应用于各种身份验证领域。作为生物识别技术之一,手指静脉识别具有两个优势[4]:1) 手指内部的静脉血管天然具有抗窃取和复制的能力,从而为识别系统提供了高安全性;2) 只有活体手指的静脉血管才能被捕获并用于识别,这使得它具备了生物体识别的能力。由于上述优势,手指静脉识别得到了广泛研究,并取得了一些有前景的研究成果[5]、[6]。
大多数手指静脉识别系统处理的图像包含几乎整个手指的静脉血管。换句话说,现有的大多数手指静脉识别方法都是基于这样的假设:手指静脉传感器可以捕捉到几乎整个手指的静脉血管。一些典型的工作包括:使用生成对抗网络[7]进行静脉图案分割,并通过测量重叠点数量来评估两个静脉图案的相似性;在[8]中,将静脉图案的方向编码为二进制代码用于手指静脉索引,并将索引方法与静脉图案匹配结合,以获得基于静脉图案的索引-匹配集成框架。最近,还提出了多视图和全视图手指静脉识别方法。设计了一种基于镜子的全视图手指静脉捕获设备[9],以及一种用于多视图手指静脉识别的静脉图案约束Transformer[10]。使用合成生成器创建了一个大规模手指静脉数据集[11],包含来自50,000个手指的500万张图像。每个手指由100张图像表示,这些图像包含了移位、旋转、缩放、滚动等多种变化。
然而,部分手指静脉识别(即识别部分手指静脉图像)却鲜有关注。最近,手指静脉传感器被嵌入到个人识别设备中,例如智能门锁和智能考勤机。这些设备的小型化限制了手指静脉传感器的尺寸。上述传感器的成像窗口可能小于成人的食指,因此只能捕获部分手指静脉图像。此外,在指纹和手指静脉双模态成像设备中,用于手指静脉采集的区域通常不到手指的三分之二。当某些人的指纹不可用或质量较差时,部分手指静脉识别成为必要的替代方案[12]。在这种情况下,从部分图像中提取丰富的判别信息对于部分手指静脉识别至关重要。
多特征融合是获取生物识别中丰富判别信息的一种有用方法[13]。在手指静脉识别中,也使用特征融合来提升性能。提出了一种多感受野卷积神经网络(CNN)[14],从不同感受野中提取特征,并进一步使用维度迭代注意力来加强连接的多感受野特征,其性能优于六层深度网络。通过局部约束的一致性字典学习方法[12]融合了静脉图案、纹理特征和方向特征,在部分手指静脉识别中取得了有希望的性能。通过CNN的不同分支提取的特征被连接起来用于手指静脉识别[15]。此外,在卷积网络的两个分支中分别采用了卷积块注意力和加权注意力[16]。提取的特征随后通过加权求和进行融合,从而实现了强大的识别性能。
上述大多数方法依赖于连接操作或求和操作来进行特征融合。然而,明显缺乏在特征融合之前增强特征的特征嵌入机制。这些操作也没有考虑不同特征之间的相关性。此外,大多数基于注意力的特征增强方法只考虑了二维空间中的位置信息,忽略了通道方向上的位置信息。这可能导致无法充分利用多个方向(即X轴方向、Y轴方向和通道方向)上的位置信息。因此,如何有效地从多个特征中挖掘判别信息是部分手指静脉识别的一个值得研究的问题。
本文提出了一种用于部分手指静脉识别的多尺度特征嵌入、融合和增强网络。在提出的网络中,首先通过具有不同卷积核的多个深度可分离卷积分支提取多尺度特征。其次,提出了一种跨尺度特征嵌入模块,通过将不同尺度的特征相互嵌入来增强每个尺度的特征。第三,计算多尺度特征之间的相关矩阵,并设计了一种基于相关性的特征融合模块来整合多尺度特征。最后,设计了一种跨空间多方向注意力机制,进一步强调融合特征及其来自两个特征空间和多个方向的伪特征。在实验中,我们通过从两个广泛使用的数据库中剪出局部部分来构建两个部分手指静脉数据库,并在两个部分数据库和两个完整数据库上测试了我们的网络。实验结果表明,我们的网络比对比方法具有更好的性能。
我们的主要贡献总结如下:(a) 提出了一种用于部分手指静脉识别的多尺度特征嵌入、融合和增强网络。(b) 我们提出了一种特征嵌入模块,通过将不同尺度的特征相互嵌入来增强每个尺度的特征。(c) 我们提出了一种基于相关性的特征融合模块,增强了多尺度特征的有用相关性信息。(d) 设计了一种跨空间多方向注意力机制,用于突出融合特征及其伪特征。
本文的其余部分组织如下。第2节回顾了典型的手指静脉识别方法。第3节详细介绍了我们的多尺度特征嵌入、融合和增强网络。第4节报告了在两个部分手指静脉数据库和两个完整手指静脉数据库上的实验结果。最后,在第5节得出结论。

部分内容摘要

基于单一特征的手指静脉识别

这类方法从手指静脉图像中提取一种特征进行识别,例如静脉图案、关键点、浅层特征和深层特征。静脉图案通过全卷积网络[17]和统一扩散网络[18]提取,相似性评分通常基于两个静脉图案的重叠点进行测量。具有局部最大曲率的点被作为手指静脉关键点[19],并提出了一种基于区域的匹配方法。

提出的方法

在本节中,我们介绍了用于部分手指静脉识别的多尺度特征嵌入、融合和增强网络。为了实现有希望的识别性能,我们的网络设计了四个模块,如图1所示,包括多尺度特征提取、跨尺度特征嵌入、基于相关性的特征融合和基于跨空间多方向注意力(CMA)的特征增强。我们的网络首先通过多个深度可分离

实验

在本节中,我们在两个开放的全手指静脉数据库和两个合成的部分手指静脉数据库上测试了我们的多尺度特征嵌入、融合和增强网络的有效性。数据库、实验细节和结果在以下部分中详细说明。

结论

在本文中,我们提出了一种用于部分手指静脉识别的多尺度特征嵌入、融合和增强网络。我们的网络采用具有不同核大小的双分支架构来有效提取多尺度特征。为了增强特征,我们引入了跨尺度特征嵌入模块,丰富了每个尺度的特征,并引入了基于相关性的特征融合模块,计算了增强后的多尺度特征的相关矩阵以进行指导

CRediT作者贡献声明

李恩彦:撰写——原始草案、验证、方法论、数据管理、概念化。杨璐:撰写——审阅与编辑、监督、方法论、资金获取、概念化。张振:调查、形式分析、数据管理。王强昌:撰写——审阅与编辑、监督、形式分析。尹一龙:撰写——审阅与编辑、监督、调查、概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了国家自然科学基金的支持,项目编号为U23A2038962076151,以及山东省泰山学者计划的支持,项目编号为tsqn202211182
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号