通过合成数据生成和深度分割技术提升自动化鞋印比对的效果

《Science & Justice》：Enhancing automated shoeprint comparison via synthetic data generation and deep segmentation

法医鞋印分析中存在背景干扰、部分遮挡和退化等问题，本研究提出结合可控合成数据生成与深度分割的框架，通过系统引入背景纹理、噪声、遮挡和退化生成合成数据集，并训练分割模型提取鞋印区域，有效提升下游相似性评分性能，为算法评估提供可重复的实验环境。

　　

金叶珍|阿莉西亚·卡里奎里|朴素英

韩国釜山釜山国立大学统计系

摘要

法医鞋印通常用于支持鞋印比对和调查决策，但由于背景杂乱、部分遮挡、印迹退化以及具有可靠来源标签的配对数据有限，自动化分析仍然具有挑战性。我们提出了一个框架，将可控的合成数据生成与深度分割相结合，以在一系列具有挑战性的条件下评估和改进算法鞋印比对。首先，我们通过系统地改变背景纹理、噪声、遮挡和退化来生成合成数据集，同时保持印迹之间的真实对应关系。然后，我们训练一个深度分割模型，将鞋印区域从杂乱的背景中分离出来，从而提高提取的印迹模式的质量，以便进行后续的相似性评分。在受控的实验环境中，基于分割的预处理与非分割基线和其他评估基线相比，验证性能有所提高。总体而言，该框架提供了一个可复制的评估流程和基于分割的预处理方法，用于控制算法鞋印比对方法的评估。

引言

鞋印在犯罪现场经常被发现，可以通过协助重建犯罪现场和比较可疑印迹与候选来源来支持调查。然而，鞋印证据往往难以分析，因为犯罪现场的印迹可能是部分的、模糊的或受到基底效应和背景干扰的影响，并且可能缺乏足够的细节来支持强有力的来源级别结论。尽管有时可以推断出类别特征（例如，品牌、型号和尺寸），但在单个鞋子的层面进行来源归属通常需要通过磨损和使用获得相应的特征。

在许多模式证据领域——包括潜指纹、鞋印和工具痕迹——证据通常以图像的形式表示，以便进行比较和分析。实际上，这些图像可能会以多种方式退化，包括图案捕捉不完全和来自周围背景纹理或伪影的干扰。在这项研究中，我们使用“部分观察到的”一词来指只有部分鞋底图案可见的印迹（例如，接触不完整、遮挡或裁剪），以及“受污染的”来表示受到叠加背景图案或视觉干扰影响的印迹，这些因素可能会混淆比较。这些退化因素，加上构建具有可靠真实数据的大规模数据集的难度，阻碍了评估可疑印迹与参考印迹之间相似性的定量方法的发展和严格评估。

在本文中，我们专注于鞋印的法医分析，特别是解决开发、测试和验证法医图像比对方法所需的实验数据库稀缺问题。收集足够全面的大规模鞋印数据集以训练和评估定量模型面临重大实际挑战，包括成本、物流限制以及受控采集所需的时间。此外，虽然犯罪现场的印迹对外部验证非常有价值，但研究人员往往难以获得它们，并且可能缺乏将印迹与已知来源鞋子联系起来的可靠真实数据，这限制了它们适用于受控算法评估。

为了解决这些挑战，我们提出了一个两步框架，结合了合成数据生成和基于分割的预处理，以实现受控的鞋印比对评估。从使用实际鞋子获得的一组初始示例印迹开始，合成流程通过系统地引入退化和背景复杂性（例如，杂乱、偏置、模糊）将这些示例扩展为许多受控变体。这种策略减少了（而不是消除了）为算法开发和评估而反复创建和获取大量物理印迹的成本和努力。在第二步中，训练分割模型以区分鞋底像素和背景干扰，从而在匹配之前隔离鞋印区域。

图1提供了所提出工作流程的概述。通过应用模糊、侵蚀、噪声和纹理叠加等效果，将清晰的印迹转换为具有受控退化的合成印迹。然后应用分割技术从退化的图像中提取鞋印像素，并使用孪生网络将结果表示与清晰的参考印迹进行比较。利用这种受控设置，我们评估了分割在提高可疑印迹与参考印迹之间的成对验证性能方面的效果。

通过将合成数据生成与基于分割的预处理相结合，这项工作旨在在具有挑战性的成像条件下支持更客观和可复制的算法鞋印比对。本文的其余部分组织如下。第2节描述了合成图像生成过程和退化建模。第3节介绍了分割和匹配方法以及实验评估协议。最后一节总结了结果，讨论了局限性，并概述了未来研究的方向。

相关研究

目前可用的鞋印数据集

用于鞋印分析的数据集可以根据两个维度进行广泛分类：可用性和来源。就可用性而言，公开可访问的数据集包括FID-300 [1]、ITSP DB [2]、CSAFE鞋类数据库 [3] 以及FBI实验室收集的数据 [4]。相比之下，许多鞋印分析和比对研究依赖于私有数据库，这可能会限制可重复性和独立基准测试。

就来源而言，数据集可能包含收集到的

相关工作

图像分割是图像处理中的一个基本步骤，它将图像划分为有意义的区域，并广泛用于从背景干扰中隔离感兴趣的对象。经典方法包括阈值处理、基于边缘和区域的方法，而现代语义分割则使用深度神经网络（如全卷积网络（FCN）[13]、U-Net [14] 和 DeepLab [15]）为像素级别分配标签。

在鞋印的背景下，分割已经

讨论

本研究追求两个主要目标。首先，我们开发了一个受控的合成鞋印数据集，旨在支持法医鞋印分析中的系统算法评估。其次，我们评估了基于分割的预处理策略，并量化了它们对下游鞋印比对（成对验证）性能的影响。

这项工作的核心贡献是一个为控制分割驱动的分析流程评估而设计的合成数据集。

结论

本研究提出了一个评估自动化鞋印比对的框架，通过结合受控的合成数据生成和基于分割的预处理。所提出的数据集系统地改变背景纹理和退化条件，同时保持印迹之间的已知对应关系，从而在受控的实验环境中实现算法行为的可重复评估。在这个框架内，实验结果表明，基于分割的

CRediT作者贡献声明

金叶珍：撰写——原始草稿、可视化、调查、形式分析、数据管理、概念化。阿莉西亚·卡里奎里：撰写——审阅与编辑、监督、资金获取。朴素英：撰写——审阅与编辑、监督、项目管理、资金获取、概念化。

伦理声明

本研究没有涉及任何人类参与者或动物。因此，不需要机构或国家研究伦理委员会的批准。该研究仅专注于深度学习技术的开发和应用，没有使用可识别的人类数据或材料。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。