通过胸部X光片中的骨骼特征学习提高生物识别技术的透明度:一种结合可解释人工智能(Explainable AI)的三重网络(triplet network)方法

【字体: 时间:2026年03月12日 来源:Image and Vision Computing 4.2

编辑推荐:

  骨骼生物识别技术在法医领域应用前景研究,基于胸部X光片的骨骼特征提取与三重网络模型构建,在NIH数据集上实现97.3%的识别准确率,结合UMAP/t-SNE可视化与Grad-CAM可解释性分析,证实骨骼结构作为身份识别的可行性基础。

  
Hazem Farah | Fahad Ghabban | Akram Bennour | KC. Santosh
阿尔及利亚泰贝萨Echahid Cheikh Laarbi Tebessi大学数学、信息学与系统实验室(LAMIS)

摘要

从医学图像中进行生物特征识别在法医研究中越来越受到关注,特别是在传统基于软组织的识别方法可能不可靠的情况下。本研究提出了一个基于解剖学的可行性框架,探讨了仅从胸部X光片提取的骨骼特征在人物识别中的区分潜力。利用骨骼解剖结构的相对稳定性,我们提出了一个深度度量学习框架,该框架采用基于ResNet的三元组网络来提取和聚类具有区分性的骨骼嵌入特征。该框架在NIH ChestXray14数据集上进行了评估,该数据集是反映解剖变异性的大规模临床代理数据集,在所考虑的实验协议下,识别准确率达到97.3%。为了分析学习到的嵌入空间,我们采用了UMAP和t-SNE等降维技术来可视化身份聚类和个体间的区分性。此外,还应用了可解释人工智能(XAI)技术,特别是Grad-CAM,以提供对影响身份识别的解剖学基础的解释。本研究旨在建立一个概念验证,为基于骨骼的生物特征建模提供方法论和分析基础,而不是一个完全验证的法医部署系统。研究结果突显了仅使用骨骼特征进行身份识别的潜力,并强调了在专门的法医和尸检数据集上进行进一步验证的重要性,以及改进分割协议对于推进可解释和隐私保护的生物特征研究的重要性。

引言

生物特征识别方法已成为法医学中不可或缺的工具,能够识别个人及其与犯罪活动的潜在联系[1]。几十年来,传统的生物特征识别方法,如指纹分析、DNA分析和面部识别,一直是识别和验证过程的基石[2]。然而,随着全球人口的增长,暴力犯罪(包括凶杀案)的发生率也在增加。因此,法医学对更高效和可靠的技术需求也在增加,以便识别受害者和犯罪者。
法医牙科学通过牙齿记录来识别个人,长期以来被认为是一种成本效益高且易于获取的案例解决方法。然而,近年来深度学习技术的迅速发展引入了新的识别方法,这些方法超越了传统的生物特征识别技术。尸检识别方法现在包括多种技术,如指纹分析、DNA分析、面部识别、虹膜识别、耳形识别、静脉模式分析和牙科学。每种方法都在犯罪调查中展示了显著的潜力,但它们也存在局限性。
当人体受到严重损伤、长时间分解或暴露在极端环境条件下时,许多这些方法无法提供准确的结果[3]、[4]。例如,当皮肤烧伤或腐烂时,指纹识别变得不可靠;当面部因创伤而变形时,面部识别也会失效[5]、[6]。同样,DNA分析常常受到生物样本污染或降解的阻碍[7]。当眼睛或四肢受到不可逆的损伤时,虹膜或静脉模式识别方法也不实用。
这些局限性不仅使识别过程复杂化,还会导致法医调查的延迟,尤其是在需要及时结果的情况下。此外,由于持续冲突(特别是在加沙、乌克兰和其他国家等战乱地区)导致的大规模死亡人数激增,使得对替代性和更稳健的识别方法的需求更加迫切。
鉴于传统生物特征识别方法在这些情况下的不足,研究人员开始关注使用胸部X光片作为尸检识别的可行解决方案[8]、[9]、[10]。胸部X光识别特别适合法医调查,因为骨骼结构——尤其是胸腔内的结构——在分解或长时间暴露下基本不受影响[9]、[11]、[12]。即使软组织受损,骨骼、肋骨和其他胸部解剖特征仍能保持独特的模式[13]。这使得胸部X光片成为识别个人的有效工具,尤其是在其他生物特征识别方法(如指纹或面部识别)不再可行的情况下。
此外,胸部X光片通常保存在医疗档案中,特别是对于有心血管或呼吸系统疾病史的个体。这些现有的医疗数据可以用于促进法医案例中的快速和可靠识别,当其他生物特征信息不可用或受损时,它们提供了有价值的比较依据[14]。为了进一步提高我们模型决策过程的透明度和可解释性,我们采用了可解释人工智能(XAI)技术,特别是梯度加权类别激活映射(Grad-CAM)。XAI在基于深度学习的法医应用中发挥着关键作用,可以洞察模型是如何做出决策的,并确保其预测基于有意义和可解释的特征,而不是虚假的相关性。Grad-CAM使我们能够可视化对识别贡献最大的关键骨骼区域,证明我们的方法学习了相关和独特的骨骼结构。本研究旨在建立一个概念验证,探索基于骨骼的识别的解剖学合理性和方法论潜力,而不是一个完全验证的法医部署系统。
在这项研究中,我们做出了以下关键贡献:
  • 基于骨骼的可行性框架:我们提出了一个深度度量学习框架,利用从胸部X光片分割出的骨骼结构进行人物识别,采用基于ResNet-50的三元组网络来学习具有区分性的骨骼嵌入特征。
  • 基于解剖学的建模:该框架仅关注骨骼解剖结构,因此较少依赖于软组织特征,适用于尸检和法医研究背景。
  • 可解释的身份分析:应用Grad-CAM来提供对影响身份识别的骨骼区域的解剖学解释,提高了透明度和可解释性。
  • 嵌入空间可视化:使用UMAP和t-SNE来分析学习到的嵌入空间中的身份区分性和聚类行为。
  • 明确的可行性定位:本研究被定位为一个概念验证,明确承认了与数据集范围、分割依赖性和统计评估相关的关键限制,以指导未来在专门法医数据集上的验证。
通过提取和分析骨骼结构,本研究旨在探索基于骨骼的识别的解剖学可行性和方法论可行性,而不是展示一个用于实际法医部署的完全验证系统。
本文旨在提供关键见解,以加深我们对这一主题的理解。首先探讨基础概念,第二节对现有研究进行了综述,为第三节中的实验提供了坚实的基础。第四节对研究结果进行了深入分析,揭示了对该领域有价值的见解。最后,第五节总结了收集的数据,强调了其重要性,并提出了未来研究的潜在方向和建议。

相关研究

相关工作

通过对现有文献的广泛回顾,我们确定了使用胸部X光片进行人物识别和验证领域的最新方法、知识空白以及需要进一步探索的领域。本节概述了与通过放射成像进行生物特征识别相关的主要研究和出版物,重点介绍了深度学习、机器学习和注意力机制等人工智能技术。

材料与提出的方法

本节介绍了使用胸部X光片进行人物识别的方法,主要侧重于利用骨骼结构进行识别。通过从分割出的骨骼区域提取和分析独特的解剖特征,我们旨在开发一种稳健且准确的识别方法。本节详细介绍了该方法,包括研究材料、数据收集程序和图像分析技术。所有实验均使用固定数据分割进行。

实验结果与讨论

可以将结果与以往的研究或理论预测进行比较,以识别相似性、差异或新的见解。本节分析了通过前述实验程序获得的实证数据。本研究中报告的所有实验结果均来自单次完全收敛的训练过程。因此,实验评估的目标是对所提出的基于骨骼的识别方法进行概念验证。

结论

本研究探讨了使用胸部X光片进行基于骨骼的人物识别的可行性,胸部X光片作为反映解剖变异性的大规模临床代理数据集。虽然现有的基于胸部X光片的识别方法已经显示出有希望的性能,但许多方法依赖于在创伤、分解或严重病理改变条件下可能不可靠的软组织特征。相比之下,本研究探索了仅基于骨骼的表示方法,这种方法受到相对

CRediT作者贡献声明

Hazem Farah:撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、方法论、调查、数据管理、概念化。Fahad Ghabban:撰写 – 审稿与编辑、撰写 – 原稿、验证、软件、资源、方法论、调查、概念化。Akram Bennour:撰写 – 审稿与编辑、撰写 – 原稿、可视化、软件、项目管理、方法论、调查、数据管理、概念化。KC. Santosh:

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号