作为面部识别中的一个关键研究方向,亲缘关系验证旨在通过面部信息确定两个人是否具有生物学上的关系(Goyal和Meenpal,2023)。这项任务在多个领域具有广泛的应用潜力,包括失踪人员搜寻、自动照片相册组织、儿童收养、社交媒体分析、法医调查、家庭团聚和犯罪现场分析。
现有研究表明,关键的面部信息主要集中在眼睛、鼻子和嘴巴等区域。许多方法通过增强模型对这些区域的关注来提高特征的鲁棒性。例如,Su等人(2023)通过分析亲子图像对的中层特征关系来增强对这些区域的关注。此外,由于亲缘关系验证涉及分析多张面孔之间的关系,一些研究专注于优化特征相似性指标,以减少类内距离并增加类间差异,如CNL Zhang等人(2021)、DMML Yan等人(2014)、AWkTMN Huang等人(2022)、DSMM Li等人(2021)和KinMix Song和Yan(2020)。另外,由于现有的亲缘关系验证数据集规模有限,许多方法利用在其他面部数据集上预训练的模型(如MLDPL Goyal和Meenpal(2023)以及GKR Li等人(2020))来通过改进特征提取和相似性测量来提高性能。另一种有效策略是用逼真的合成面部图像来增强数据。Trigueros等人(2021)提出了一种新的条件生成对抗网络(GAN),该网络可以分离与身份相关和非身份相关的属性,生成现有和新主题的合成图像,从而扩大数据宽度(主题数量)和深度(每个主题的图像数量),这已被证明可以提高面部识别模型的性能。这些策略也为解决亲缘关系验证中的数据稀缺问题提供了可行的方向。这些策略带来了显著的性能提升。
然而,由遗传继承得出的亲缘特征表现出不稳定性和不确定性。相关个体之间的视觉相似性可能低于无关个体。此外,在不受约束的条件下,不同亲缘对之间的颜色、照明和视角的变化进一步加剧了验证的难度(Li等人,2022)。例如,某些样本中表情或姿势的高相似性可能导致无关对的错误分类。这些因素使得亲缘线索变得复杂、模糊和不确定,但当前的方法缺乏针对这些特征的具体设计。
特别是跨性别亲缘关系验证,即父女(F-D)和母子(M-S),面临更大的挑战。这个问题的核心在于亲缘特征中固有的“性别差异的模糊性”:男性和女性表现出特定的面部形态特征(例如,男性通常有更粗犷的下颌线、更浓密的眉毛和更高的鼻梁,而女性则具有更柔和的面部轮廓、更细的鼻尖和更精致的眼睛形状)。这些固有的性别差异往往掩盖或扭曲了跨性别亲属之间的内在遗传共性。这种模糊性模糊了“由性别引起的特征差异”和“非亲缘关系引起的特征差异”之间的界限,使得准确识别真实的遗传关联变得困难。这一挑战通过现有文献结果的统计分析得到了定量验证(Chen, Zhu, Zheng, Zheng, Zhang, 2020; Fan, Kong, Zhang, Liu, Pan, Lu, 2020; Goyal, Meenpal, 2021; Goyal, Meenpal, 2023; Hu, Lu, Tan, Yuan, Zhou, 2017; Huang, Lin, Huangfu, Xing, Hu, Zeng, 2022; Khammari, Chouchane, Ouamane, Bessaoudi, Himeur, Hassaballah, et al., 2023; Laiadi, Ouamane, Benakcha, Taleb-Ahmed, Hadid, 2020; Li, Zhang, Lv, Lu, Feng, Zhou, 2020; Mukherjee, Meenpal, 2022; Oruganti, Meenpal, Majumder, 2023; Oruganti, Meenpal, Majumder, 2024; Serraoui, Laiadi, Ouamane, Dornaika, Taleb-Ahmed, 2022; Song, Yan, 2020; Su, Chen, Wang, Lai, Chen, 2023; Wang, Shu, Feng, Wang, Tang, 2020b; Zhang, Duan, Zhang, Jia, Wang, 2020; Zhang, Min, Zhou, Guo, 2021),这也通过表6和表7中的定量实验得到了验证)。在三个主流数据集(KinFaceW-I、KinFaceW-II和TSKinFace)中,同性别亲缘对(即父子(F-S)和母女(M-D)的平均验证性能始终优于跨性别对(即F-D和M-S)。然而,现有方法并未专门针对这一问题进行设计,它们未能充分考虑亲缘特征中性别差异的模糊性,这已成为限制跨性别亲缘关系验证性能提升的关键瓶颈。
模糊逻辑通过引入部分隶属关系和模糊性来模拟人类推理和决策过程,为处理不确定性和不精确性提供了有效的工具。模糊技术,如模糊规则系统和模糊聚类(Hu和Zheng,2024;Wang等人,2020a;Zhao和Xu,2024),已被广泛应用于解决复杂问题。最近的研究表明,将模糊技术集成到深度学习算法中可以有效处理多模态数据中的不确定性。例如,Wang等人(2024)利用模糊深度神经网络融合了多模态信息,提高了对情感表达中模糊性的适应能力。这些进展突显了模糊技术在涉及不确定性的任务中的优势。在亲缘关系验证中,遗传信息的固有复杂性和模糊性与模糊逻辑的优势相匹配,使其成为建模亲缘关系不确定性的合适工具。为了解决跨性别挑战,我们提出了一种模糊神经网络(FNN),该网络通过使用性别识别任务将面部特征分离为性别和亲缘成分,以提高亲缘特征的性别独立性。
之前的研究也尝试通过正交分解或线性分离来获得面部数据的解耦特征。理论上,面部信息可以分为独立特征和共享特征成分。然而,由于这些成分本质上是非线性的、模糊的和不确定的,现有方法在有效分离这些成分方面存在困难。因此,使用模糊神经网络进行这种分离成为一个合理且高效的解决方案。深度学习在学习复杂数据表示方面表现出色,但传统模型难以有效处理不确定和模糊的数据。模糊系统不仅描述了现实世界中的普遍不确定性和模糊性,还提高了深度模型的预测准确性。通常,深度神经网络擅长从复杂数据中学习层次化表示。将模糊逻辑与深度学习相结合,可以充分发挥它们的互补优势。
基于这一见解,我们提出了一种基于性别的模糊网络(简称
GiFNet)用于亲缘关系验证。该框架利用Swin Transformer(Liu等人,2021)作为特征提取器,从配对输入图像中提取层次化特征。然后使用模糊神经网络分离性别和亲缘特征,并在性别识别任务的指导下提取与性别无关的亲缘特征。接下来,采用多指标模糊融合方法结合来自父母和孩子的解耦亲缘特征,同时利用模糊推理来推断模糊的亲缘线索。此外,采用对比损失函数来挖掘潜在的负样本,有助于缓解数据不平衡问题。这种架构有效地增强了模型对复杂亲缘线索的适应性,并提高了其建模亲缘关系中固有不确定性和模糊性的能力。我们工作的主要贡献可以总结如下:
•我们通过引入性别识别任务来模糊地分离与性别无关的亲缘特征,从而提高亲缘特征的性别独立性,并揭示跨性别的亲缘线索。
•我们设计了一个多指标模糊推理模块,利用解耦的特征进行推理,有效解决了遗传信息的不稳定性和亲缘对中面部差异引起的复杂性。
•我们利用对比损失函数来利用所有潜在的负样本,用它们来学习深度模型并提高其识别能力。
•我们在三个广泛使用的数据集上进行了广泛的实验,并与现有的先进方法相比取得了先进的性能。
本文的其余部分组织如下。第2节介绍了亲缘关系验证和深度模糊系统的相关工作。第3节详细介绍了深度模糊网络。第4节评估和讨论了所提出方法的性能。第5节总结了整篇论文。