将局部双向四元模式与分层定向掩码连接起来的方法

《Digital Signal Processing》：Local Bilateral Quaternary Pattern Concatenated With Hierarchical and Oriented Mask

　　李长利|季伟|王华|潘正阳
南京信息科技大学人工智能学院/未来技术学院，南京210044，中国

摘要
局部二值模式（LBP）及其变体已被广泛用于面部识别的特征提取。然而，它们大多未能充分捕获边缘的方向信息，并忽略了双极性强度变化，这限制了它们的区分能力。为了解决这些问题，本文提出了一种新的特征描述符LBQP_HOMask。我们引入了一种层次化和定向的掩码（HOMask），该掩码根据中心像素与相邻像素之间的城市街区距离分配掩码值，然后根据掩码输出的强度对相邻像素进行二值加权以获得边缘特征。其余八个掩码是通过旋转基础掩码得到的。此外，我们定义了中心像素与其相邻像素之间的韦伯比，并通过根据其极性和大小将比率量化到不同的区间来执行双向编码，从而产生局部双向四值模式（LBQP）的四个特征。然后提取子区域直方图并将它们连接起来以构建一个全面的表示。为了提高计算效率，使用PCA和PCA-FLDA进行特征降维，而SVM分类器执行识别任务。在ORL、GT、CMUPIE、Yale和EYB五个面部数据集上的实验结果表明，所提出的方法比现有方法具有更高的准确性。此外，HOMask在CID和BSDS500数据集的边缘检测中表现出强大的鲁棒性，进一步证实了其有效性和泛化能力。

引言
纹理包含粗糙度和周期性等结构属性，是视觉识别任务的基本线索。在数学建模的驱动下[1]，[2]，纹理分析在生物医学图像解释[3]，[4]，[5]以及面向安全的人脸识别[6]，[7]等领域仍然至关重要。早期的纹理特征提取依赖于统计方法（如GLCM [8]）和基于滤波器的方法（如小波[9]和Gabor滤波器[10]）。然而，这些方法往往难以处理旋转或方向变化。后来采用了参数化模型（包括自回归[11]、自相关[12]和Gabor小波[13]方法）来更好地捕获多方向和多尺度特征。在面部识别中，纹理特征（如皮肤、头发和轮廓）至关重要。提取方法大致分为三类：全局方法、局部方法和深度学习方法。全局方法将面部视为一个整体，捕获整体信息（如轮廓和组件位置）。常见技术包括主成分分析（PCA）[14]、2D-PCA [15]、线性判别分析（LDA）[16]、Fisher的LDA（FLDA）[17]及其变体[18]。尽管它们在降维和提高识别准确性方面有效，但其整体性质忽略了细小的局部细节，从而在复杂、无约束的环境中限制了性能。
相比之下，局部描述符从特定的面部区域（如眼睛、鼻子和嘴巴）提取特征，通过将面部视为一组不同的组件来提供更大的鲁棒性。一个关键的里程碑是局部二值模式（LBP）[19]，它通过比较中心像素与其邻居引入了局部结构描述。其简单性和有效性导致其在纹理分析中的广泛应用，随后应用于面部识别[20]，并激发了众多变体。这些变体包括空间和量化扩展（例如3DLBP [21]、HOG [22]、局部相位量化（LPQ）[23]）、几何适配（例如椭圆形LBP（ELBP）、水平ELBP（HELBP）[24]、[25]）以及高级编码方案（例如中值二值模式（MBP）[26]、正交组合LBP [27]、平均LBP [28]和距离LBP [29]）。LBP通过比较中心像素与其邻居来编码纹理。它对照明变化具有鲁棒性，在早期面部识别中变得至关重要。然而，标准LBP有三个主要限制：（1）其固定的3×3窗口仅捕获微纹理，忽略了中尺度结构；（2）依赖于单个像素使其对噪声敏感；（3）连接的256bin直方图创建了高维、冗余的特征。高级变体解决了这些问题。多尺度块LBP（MB-LBP）[30]通过比较子区域平均值来捕获宏观结构。局部三值模式（LTP）[31]通过添加阈值边缘提高了抗噪能力。维度通过均匀模式[32]（59 bin）和中心对称LBP（CS-LBP）[33]来降低，后者评估对称像素对以获得紧凑和旋转不变的特征。
在面部识别中，照明变化（如过曝、欠曝和阴影）仍然是一个关键挑战，因为它们会掩盖关键特征。为了解决这个问题，开发了许多先进的局部描述符。双曲局部二值模式（HLBP）[34]使用双曲结构强调角像素。基于邻域和中心差异的LBP（NCDB-LBP）[35]捕获中心和邻域之间的严格差异，而完整的正交组合LBP（COC-LBP）[36]整合了符号和幅度信息，并结合FLDA实现了强大的照明鲁棒性。基于边缘和方向的方法提供了另一种鲁棒策略。局部三向模式（LTDP）[37]使用三个方向的一阶导数和两个幅度特征来形成1280维向量，然后通过FLDA压缩。局部导数模式（LDP）[38]应用Kirsch掩码进行边缘检测，并通过完整的局部导数模式（CLDP）[39]进行直方图均衡。局部最优定向模式（LOOP）[40]对Kirsch响应进行排名以结合强度和方向线索。受生物学启发的方法包括韦伯局部描述符（WLD）[41]，它将差异激励和方向合并到一个2D直方图中，以及局部多模式（LMP）[42]，它将韦伯比率细化到多个区间。统计模型如基于均值-方差-中值的LBP（MVM-LBP）[43]结合均值、方差和中值来处理严重的照明变化。尽管局部描述符保留了丰富的细节，但它们通常会产生高维特征。一种常见的解决方案是将局部提取与全局子空间学习结合起来，如鲁棒面部描述符（RFD）[44]，它融合了方向和幅度模式，并应用PCA或FLDA以在姿势、照明和表情变化下实现鲁棒识别。
深度学习通过学习层次化表示彻底改变了面部特征提取，这些表示没有关键限制[45]，VGGNet [46]、ResNet [47]和LBP+CNN混合模型[48]等架构在应对姿势、背景和照明变化方面表现出强大的鲁棒性。然而，它们的成功依赖于大型数据集和高计算成本，限制了在资源受限的环境（如嵌入式或实时系统）中的应用。在这种情况下，传统的LBP及其变体由于其效率、低开销和可解释性而仍然非常相关。为了解决全局和传统局部方法的局限性，本文提出了一种用于无约束面部识别的新判别描述符。该方法旨在处理严重的姿势、照明、表情和遮挡变化，并在多个基准测试上进行了严格评估。主要贡献包括：
1. 层次化和定向掩码（HOMask）。通过HOMask将中心像素与其8个邻居之间的距离及其8个邻居的方向信息纳入特征提取过程。因此，它在捕获层次化边缘信息方面表现出色，提供了稳健的多尺度边缘描述，并在边缘检测任务中表现出优越的性能。
2. 局部双向四值模式（LBQP）。它源于韦伯比，该比率量化了中心像素与其八个邻居之间的相对强度差异。根据这个比率的正负极性，每个邻居被编码为双向2位代码。这八个单独的代码随后被转换为两个合并的8位二进制特征，提供了对局部纹理的稳健和高效描述。
3. 一种新的特征表示方法。我们通过连接HOMask和LBQP提出了一种强大的描述符LBQP_HOMask。在五个基准面部数据集上使用SVM分类器进行评估，我们的方法显示出比现有技术更高的性能。
本文的其余部分组织如下。第2节回顾相关工作。第3节介绍了所提出的方法，详细介绍了LBQP和HOMask的原理以及它们如何集成到所谓的LBQP_HOMask框架中。第4节评估了该方法在基准数据集上的面部识别性能，并与现有方法进行了比较。第5节重点讨论了HOMask的边缘检测能力，并将其结果与经典操作进行了基准测试。最后，第6节总结了本文并概述了未来的研究方向。

**片段**
如图1所示，对于一个3×3的邻域块，让中心像素表示为xc，其周围的八个像素按顺时针顺序表示为xi（i=0,1,?,7）。LBP的核心思想是将中心像素xc与每个邻居xi之间的强度差异编码为二进制序列，使用零作为阈值。形式上，LBP描述符定义为：
LBP(xc) = ∑i=07 s0(xi?xc)·2^i
其中0(x) = {1, x≥0; 0, x<0}
一旦获得了整个图像的LBP特征图，它就被划分为3×3的块。

**提出的方法**
尽管LBP及其变体取得了相当大的成功，但大多数方法忽略了像素间强度变化的精确幅度和重要的边缘几何形状。为了放大边缘特征并有效地连接结构边界和纹理细节之间的关系，我们提出了一种新的局部特征描述符：LBQP_HOMask。在这个混合框架中，HOMask捕获方向边缘模式，而LBQP产生双极性特征的层次化表示。最终，面部识别实验在ORL、GT、CMUPIE、Yale和EYB五个面部数据集上进行了实验，以比较LBP、LTP、MBP、MVM-LBP、VELBP和我们提出的LBQP_HOMask的性能。前三个数据集主要涉及表情和姿势的变化，有助于评估LBQP_HOMask在各种情况下的鲁棒性。后两个数据集包含在强光照条件下捕获的面部图像，这些数据集专门用于评估该方法的有效性。

**结论**
在这项研究中，我们提出了LBQP_HOMask，这是一种综合特征提取范式，它将方向边缘感知与局部纹理动态结合起来。该架构基于一组新的HOMasks，通过加权邻域中心之间的空间距离来提取各向异性方向特征。这与受韦伯定律启发的双向编码方案协同工作，该方案明确量化和编码双极性强度。

**CRediT作者贡献声明**
李长利：概念化、方法论。季伟：调查、形式分析、撰写——原始草稿。王华：形式分析。潘正阳：方法论。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。