通过模糊解耦和多指标推理实现性别中立的亲属关系验证网络

《Neural Networks》:Gender-independent Kinship Verification Network Via Fuzzy Disentangling and Multi-metric Inference

【字体: 时间:2026年02月09日 来源:Neural Networks 6.3

编辑推荐:

  血缘认证中跨性别关系验证的模糊神经网络方法。通过Swin Transformer提取初始特征,设计模糊神经网络分离性别与血缘特征,引入性别识别任务增强性别独立性,多指标模糊推理模块整合特征,对比损失函数挖掘负样本信息,在KinFaceW-I/II和TSKinFace数据集上达到SOTA性能。

  
雷莉|全周|高山|崔朝然|夏朝强
中国山东财经大学计算机科学与技术学院

摘要

亲缘关系验证旨在通过面部信息确定两个人是否具有家庭关系。由于遗传多样性和不确定性的存在,跨性别关系(例如父女和母子关系)仍然面临巨大挑战。现有研究主要集中在提取稳健特征和测量相似性上,对性别差异的模糊性关注较少。为了解决这个问题,本文提出了一种基于模糊神经网络的亲缘关系验证框架,该框架能够自适应地提取与性别无关的亲缘特征,并处理关系中的模糊性,从而提高跨性别验证的性能。具体而言,本文采用了在面部分析中表现优异的Swin Transformer来提取初始特征。然后设计了一个模糊神经网络来分离性别特征和亲缘特征,并引入了性别识别任务以进一步增强这种分离,提高亲缘特征的性别独立性。随后,采用多指标模糊推理模块来整合亲缘特征,提取潜在的亲缘线索,并利用对比损失函数有效挖掘潜在的负样本信息,从而显著提升模型的鲁棒性。在三个公开可用的数据集上的实验结果表明,所提出的方法达到了先进的性能水平。

引言

作为面部识别中的一个关键研究方向,亲缘关系验证旨在通过面部信息确定两个人是否具有生物学上的关系(Goyal和Meenpal,2023)。这项任务在多个领域具有广泛的应用潜力,包括失踪人员搜寻、自动照片相册组织、儿童收养、社交媒体分析、法医调查、家庭团聚和犯罪现场分析。
现有研究表明,关键的面部信息主要集中在眼睛、鼻子和嘴巴等区域。许多方法通过增强模型对这些区域的关注来提高特征的鲁棒性。例如,Su等人(2023)通过分析亲子图像对的中层特征关系来增强对这些区域的关注。此外,由于亲缘关系验证涉及分析多张面孔之间的关系,一些研究专注于优化特征相似性指标,以减少类内距离并增加类间差异,如CNL Zhang等人(2021)、DMML Yan等人(2014)、AWkTMN Huang等人(2022)、DSMM Li等人(2021)和KinMix Song和Yan(2020)。另外,由于现有的亲缘关系验证数据集规模有限,许多方法利用在其他面部数据集上预训练的模型(如MLDPL Goyal和Meenpal(2023)以及GKR Li等人(2020))来通过改进特征提取和相似性测量来提高性能。另一种有效策略是用逼真的合成面部图像来增强数据。Trigueros等人(2021)提出了一种新的条件生成对抗网络(GAN),该网络可以分离与身份相关和非身份相关的属性,生成现有和新主题的合成图像,从而扩大数据宽度(主题数量)和深度(每个主题的图像数量),这已被证明可以提高面部识别模型的性能。这些策略也为解决亲缘关系验证中的数据稀缺问题提供了可行的方向。这些策略带来了显著的性能提升。
然而,由遗传继承得出的亲缘特征表现出不稳定性和不确定性。相关个体之间的视觉相似性可能低于无关个体。此外,在不受约束的条件下,不同亲缘对之间的颜色、照明和视角的变化进一步加剧了验证的难度(Li等人,2022)。例如,某些样本中表情或姿势的高相似性可能导致无关对的错误分类。这些因素使得亲缘线索变得复杂、模糊和不确定,但当前的方法缺乏针对这些特征的具体设计。
特别是跨性别亲缘关系验证,即父女(F-D)和母子(M-S),面临更大的挑战。这个问题的核心在于亲缘特征中固有的“性别差异的模糊性”:男性和女性表现出特定的面部形态特征(例如,男性通常有更粗犷的下颌线、更浓密的眉毛和更高的鼻梁,而女性则具有更柔和的面部轮廓、更细的鼻尖和更精致的眼睛形状)。这些固有的性别差异往往掩盖或扭曲了跨性别亲属之间的内在遗传共性。这种模糊性模糊了“由性别引起的特征差异”和“非亲缘关系引起的特征差异”之间的界限,使得准确识别真实的遗传关联变得困难。这一挑战通过现有文献结果的统计分析得到了定量验证(Chen, Zhu, Zheng, Zheng, Zhang, 2020; Fan, Kong, Zhang, Liu, Pan, Lu, 2020; Goyal, Meenpal, 2021; Goyal, Meenpal, 2023; Hu, Lu, Tan, Yuan, Zhou, 2017; Huang, Lin, Huangfu, Xing, Hu, Zeng, 2022; Khammari, Chouchane, Ouamane, Bessaoudi, Himeur, Hassaballah, et al., 2023; Laiadi, Ouamane, Benakcha, Taleb-Ahmed, Hadid, 2020; Li, Zhang, Lv, Lu, Feng, Zhou, 2020; Mukherjee, Meenpal, 2022; Oruganti, Meenpal, Majumder, 2023; Oruganti, Meenpal, Majumder, 2024; Serraoui, Laiadi, Ouamane, Dornaika, Taleb-Ahmed, 2022; Song, Yan, 2020; Su, Chen, Wang, Lai, Chen, 2023; Wang, Shu, Feng, Wang, Tang, 2020b; Zhang, Duan, Zhang, Jia, Wang, 2020; Zhang, Min, Zhou, Guo, 2021),这也通过表6和表7中的定量实验得到了验证)。在三个主流数据集(KinFaceW-I、KinFaceW-II和TSKinFace)中,同性别亲缘对(即父子(F-S)和母女(M-D)的平均验证性能始终优于跨性别对(即F-D和M-S)。然而,现有方法并未专门针对这一问题进行设计,它们未能充分考虑亲缘特征中性别差异的模糊性,这已成为限制跨性别亲缘关系验证性能提升的关键瓶颈。
模糊逻辑通过引入部分隶属关系和模糊性来模拟人类推理和决策过程,为处理不确定性和不精确性提供了有效的工具。模糊技术,如模糊规则系统和模糊聚类(Hu和Zheng,2024;Wang等人,2020a;Zhao和Xu,2024),已被广泛应用于解决复杂问题。最近的研究表明,将模糊技术集成到深度学习算法中可以有效处理多模态数据中的不确定性。例如,Wang等人(2024)利用模糊深度神经网络融合了多模态信息,提高了对情感表达中模糊性的适应能力。这些进展突显了模糊技术在涉及不确定性的任务中的优势。在亲缘关系验证中,遗传信息的固有复杂性和模糊性与模糊逻辑的优势相匹配,使其成为建模亲缘关系不确定性的合适工具。为了解决跨性别挑战,我们提出了一种模糊神经网络(FNN),该网络通过使用性别识别任务将面部特征分离为性别和亲缘成分,以提高亲缘特征的性别独立性。
之前的研究也尝试通过正交分解或线性分离来获得面部数据的解耦特征。理论上,面部信息可以分为独立特征和共享特征成分。然而,由于这些成分本质上是非线性的、模糊的和不确定的,现有方法在有效分离这些成分方面存在困难。因此,使用模糊神经网络进行这种分离成为一个合理且高效的解决方案。深度学习在学习复杂数据表示方面表现出色,但传统模型难以有效处理不确定和模糊的数据。模糊系统不仅描述了现实世界中的普遍不确定性和模糊性,还提高了深度模型的预测准确性。通常,深度神经网络擅长从复杂数据中学习层次化表示。将模糊逻辑与深度学习相结合,可以充分发挥它们的互补优势。
基于这一见解,我们提出了一种基于性别的模糊网络(简称GiFNet)用于亲缘关系验证。该框架利用Swin Transformer(Liu等人,2021)作为特征提取器,从配对输入图像中提取层次化特征。然后使用模糊神经网络分离性别和亲缘特征,并在性别识别任务的指导下提取与性别无关的亲缘特征。接下来,采用多指标模糊融合方法结合来自父母和孩子的解耦亲缘特征,同时利用模糊推理来推断模糊的亲缘线索。此外,采用对比损失函数来挖掘潜在的负样本,有助于缓解数据不平衡问题。这种架构有效地增强了模型对复杂亲缘线索的适应性,并提高了其建模亲缘关系中固有不确定性和模糊性的能力。我们工作的主要贡献可以总结如下:
我们通过引入性别识别任务来模糊地分离与性别无关的亲缘特征,从而提高亲缘特征的性别独立性,并揭示跨性别的亲缘线索。
  • 我们设计了一个多指标模糊推理模块,利用解耦的特征进行推理,有效解决了遗传信息的不稳定性和亲缘对中面部差异引起的复杂性。
  • 我们利用对比损失函数来利用所有潜在的负样本,用它们来学习深度模型并提高其识别能力。
  • 我们在三个广泛使用的数据集上进行了广泛的实验,并与现有的先进方法相比取得了先进的性能。
  • 本文的其余部分组织如下。第2节介绍了亲缘关系验证和深度模糊系统的相关工作。第3节详细介绍了深度模糊网络。第4节评估和讨论了所提出方法的性能。第5节总结了整篇论文。

    部分摘录

    亲缘关系验证

    自从Fang等人(2010)首次提出使用面部图像进行亲缘关系验证以来,这项任务已成为面部识别研究的一个重要分支。亲缘关系验证通过分析两个人面部特征的相似性来评估他们是否具有家庭关系。根据遗传理论,相关个体的面部通常具有某些相似性。与传统身份验证方法相比,亲缘关系验证提供了更快的

    提出的方法

    本节详细介绍了用于亲缘关系验证的性别独立模糊网络(GiFNet)。如图1所示,GiFNet包括以下关键组件:基于Swin Transformer(SwinT)的初始特征提取骨干、用于将性别和亲缘特征分离为两个流的模糊解耦模块(FDM)、性别识别模块(GRM)、多指标模糊推理模块(FIM)以及用于模型学习的双功能对比损失(DFC)。

    实验数据集

    为了验证我们提出方法的有效性,我们在三个公开可用的数据集上进行了实验:KinFaceW-I(Lu等人,2013)、KinFaceW-II(Lu等人,2013)和TSKinFace(Qin等人,2015)。图2展示了一些来自不同数据集的示例图像。
    KinFaceW-I数据集包含533对具有亲缘关系的面部图像,涵盖了四种典型关系:父女(F-D)、父子(F-S)、母女(M-D)和母子(M-S)。

    结论

    本文提出了一种基于模糊神经网络的框架(即GiFNet),用于亲缘关系验证,解决了特征模糊性、不确定性和性别差异的挑战。通过集成模糊解耦模块(FDM)和多指标模糊推理模块(FIM),该方法提高了亲缘特征提取和性别不变性。FDM有效地分离了亲缘特征和性别特征,从而显著提高了跨性别亲缘关系验证的性能

    CRediT作者贡献声明

    雷莉:撰写——原始草稿、方法论、调查、形式分析、概念化。全周:撰写——原始草稿、可视化、验证、数据整理。高山:调查、形式分析。崔朝然:验证、数据整理。夏朝强:撰写——审阅与编辑、监督、项目管理、资金获取。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

    致谢

    本工作部分得到了济南青年创意人才引进与培养计划(2023KJ221)和宁夏回族自治区关键研究与开发计划(2026ZDYF0650)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    知名企业招聘

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号