通过基于身份条件的合成数据增强技术与推理时嵌入融合技术来提升面部重新识别的准确性

《Expert Systems with Applications》：Improving face re-identification via identity-conditioned synthetic augmentation and inference-time embedding fusion

人脸重识别中通过Arc2Face生成身份一致性合成图像，并采用嵌入聚合策略提升表征能力。实验表明在LFW和SCFace数据集上，Rank-1准确率平均提升6.97和10.98-31.33点，验证基准匹配或超越AdaFace。引入LCM-LoRA加速生成，框架具备架构无关性和单注册隐私保护特性。

　　

Héctor Penadés | Félix Escalona | Miguel Cazorla

阿利坎特大学计算机研究所，西班牙阿利坎特

摘要

面部重新识别任务旨在匹配在不同条件下拍摄的图像中的身份信息。在传统的单次注册场景中，推理过程中每个主体仅有一张真实图像可用，这限制了嵌入式的区分能力。合成数据的进步为改进识别系统提供了新的机会，尤其是在隐私问题限制数据可用性的情况下。我们提出了一种新方法，该方法利用身份引导的合成增强技术在推理时丰富面部表示。与传统的数据增强不同，它通过样本聚合来增强嵌入，引入了一种无需扩展训练集或重新训练现有模型的表示增强范式。使用Arc2Face，我们从每个真实样本生成多样且身份一致的合成图像，合成多种面部变体以近似每个身份的分布空间。对十种嵌入融合策略的非参数分析显示，与基线相比有了一致的改进，其中均值、中位数和混合均值-中位数（Meta-MM）取得了最佳性能，并且Meta-MM在模型间的变异性最低。实验表明，在重新识别和验证设置中都有一致的改进。在Labeled Faces in the Wild（LFW）数据集上，排名1的准确率平均提高了6.97个百分点，平均精度（mAP）提高了5.82和8.10个百分点。在Surveillance Cameras Face（SCFace）数据集上，这是一个低质量的跨距离数据集，排名1的准确率提高了10.98到31.33个百分点。在Cross-Pose LFW（CPLFW）验证基准测试中，准确率通常与AdaFace基线相当或更高，提高了多达5.57个百分点。结合低秩适应的潜在一致性模型（LCM-LoRA）使样本生成速度提高了十倍，使该框架适用于大规模应用。

引言

人员重新识别是智能监控和安全系统中的基本任务，其目标是在多个不重叠的摄像头视图之间匹配个体。传统上，重新识别方法严重依赖于整体视觉线索，如服装、体型和步态模式（Qian, Barthelemy, Karuppiah, & Perez, 2024）。尽管在受控环境中有效，但这些基于外观的特征本质上具有变异性，在现实世界环境中往往不可靠，因为主体可能会更换服装或携带遮挡物。在这种情况下，面部信息作为一种高度区分性和相对不变的生物特征而出现。与服装或姿势不同，面部特征在时间和不同环境中的变化较小，使其成为传统重新识别流程的吸引人的补充（Dietlmeier, Antony, McGuinness, & Connor, 2020）。最近的研究表明，整合面部描述符可以带来显著的性能提升，特别是在具有挑战性的场景中（Wan, Wu, Qian, Chen, & Fu, 2020）。此外，将面部嵌入与全身表示融合的混合方法取得了有希望的结果，表明面部身份线索可以提高模型的鲁棒性并减少误报（Arkushin, Cohen, Peleg, & Fried, 2024）。

然而，大多数现有的重新识别基准测试要么忽略了面部特征，要么将它们视为辅助信息，从而限制了这些系统在现实操作条件下的潜力。因此，越来越需要设计能够更有效地将面部身份作为核心组件的重新识别框架，而不仅仅是备用方案。这包括开发可以根据上下文动态加权面部和身体特征的模型，以及创建反映现实世界约束（如不同的摄像头分辨率、照明和遮挡物）的评估协议。

面部识别作为其核心功能，基于面部特征识别或验证个体，在各种应用中变得至关重要，包括监控（Subramanian, Murugadurai, Surapaneni, & Doddapaneni, 2025）、访问控制、个人设备认证（Opanasenko, Fazilov, Mirzaev, Kakharov, & Ugli, 2024）和汽车驾驶员监控（Konrad, Berrio, Shan, Masson, Nebot, Worrall, 2024, Saadi, Cunningham, Taleb-Ahmed, Hadid, Hillali, 2024），在那里它可以帮助检测疲劳、分心或困倦的迹象，从而提高道路安全。尽管取得了相当大的进展，但最先进的模型在包括不良照明、遮挡或姿势和表情变化在内的不受约束条件下仍然面临困难。这些因素经常限制了现实世界的性能，即使是在受控条件下表现良好的系统也是如此（Taskiran, Kahraman, & Erdem, 2020）。

生成建模的最新进展为解决这些限制提供了有希望的方法。诸如生成对抗网络（GANs）和基于扩散的架构等模型能够生成合成面部数据，用于模拟各种条件并在面部特征中引入可控的变异性（Boutros, Grebe, Kuijper, Damer, 2023, Deandres-Tame, Tolosana, Melzi, Vera-Rodriguez, Kim, Rathgeb, Liu, Morales, Fierrez, Ortega-Garcia, Zhong, Huang, Mi, Ding, Zhou, He, Fu, Cong, Zhang, Menotti, 2024, Kim, Liu, Jain, Liu, 2023）。

因此，使用合成数据已成为提高识别系统鲁棒性的强大工具。虽然在最近的工作中，合成数据主要在训练阶段得到利用，但我们的方法将重点转移到了推理阶段。具体来说，在这项工作中，我们研究了使用身份引导的合成图像是否可以在推理时丰富主体的表示，从而实现更准确和一致的面部重新识别。通过使用保持身份的面部生成器生成多样但身份一致的图像，并聚合它们的嵌入，我们获得了更强大的描述符，从而提高了身份匹配的性能。这种新策略使用生成模型来生成增强嵌入，这是本文引入的一个概念，指的是通过合并合成图像的嵌入创建的组合表示，无需大规模重新训练或数据集扩展。此外，所提出的框架与任何预训练的识别框架兼容，可以无缝集成到现有流程中。该方法提供了一种灵活且易于集成的方法，适用于单次注册和隐私受限的场景，消除了重新训练的需要。

本文的其余部分结构如下。第2节回顾了与面部识别和生成模型相关的研究。第3节概述了本研究采用的方法论，并详细介绍了所提出的框架和使用的数据集。第4.1节为面部重新识别性能建立了可靠的基准，并分析了来自标准基准的结果。第4.2节描述了主要实验并展示了结果。最后，第5节总结了本文并概述了未来的工作。

相关工作

相关工作

本节总结了与我们工作相关的先前研究，涵盖了深度特征提取方法、合成数据和生成模型的使用，以及面部重新识别和面部验证之间的区别。

方法

本节描述了所提出的面部重新识别方法，并概述了其评估所遵循的协议，重点介绍了合成数据如何在嵌入空间中补充真实数据以丰富身份表示。所提出的方法在第3.1节中描述。该方法论分为几个阶段。首先，我们描述了使用的数据集和用于评估的重新识别协议（第3.2节）。然后我们介绍了面部...

数值实验

本节提出了一组全面的数值实验，用于评估所提出框架的性能。我们首先在不同损失函数和训练条件下建立了现有识别模型的基准性能（第4.1节）。随后，我们通过对每个组件进行有针对性的消融研究，对所提出的方法进行了深入分析（第4.2节）。

结论和未来工作

在这项工作中，我们通过使用预训练嵌入引导的合成样本来引入了丰富身份嵌入的概念。我们没有仅仅将生成模型用于数据增强或训练，而是利用Arc2Face生成身份一致的合成面部图像，并通过不同的聚合策略将它们结合起来，以增强重新识别场景中的身份表示。

我们的实验结果表明，丰富画廊和...

CRediT作者贡献声明

Héctor Penadés：概念化、形式分析、调查、方法论、数据策划、软件、验证、撰写——原始草稿、撰写——审阅和编辑。Félix Escalona：概念化、形式分析、调查、方法论、监督、验证、撰写——审阅和编辑。Miguel Cazorla：概念化、形式分析、调查、方法论、监督、验证、撰写——审阅和编辑。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。