UniAttack：统一的物理-数字面部攻击检测技术

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：UniAttack: Unified Physical-Digital Face Attack Detection

统一物理与数字攻击检测框架构建及多模态特征融合方法研究。摘要：针对人脸识别系统面临物理（如打印照片）和数字（如Deepfake）攻击的独立研究问题，提出包含数据集构建与六模块框架的解决方案。通过构建包含1800人、28706个视频的UniAttackData统一攻击数据集，设计包含知识统一（TSP）、语义空间融合（UKM）、文本视觉融合（TSF）、攻击特征增强（AFE）、攻击对比（UAC）和样本交互（SLPI）的六层检测框架，有效解决两类攻击的 intra-class variance 差异问题。实验验证其在多攻击类型检测中的优越性。

　　

摘要

面部识别（FR）系统容易受到物理攻击（例如，打印照片）和数字攻击（例如，DeepFake）的威胁。然而，大多数研究人员分别应对这两种攻击，这需要多个模型并增加了计算负担。缺乏集成模型的主要原因有两个：（1）缺乏包含物理攻击和数字攻击的数据集，即同一个身份信息既包含真实面部图像，也包含所有类型的攻击；（2）这两种攻击类型之间存在显著的类别内差异，使得构建统一的特征空间变得复杂。为了解决这些问题，我们收集了一个统一的物理-数字攻击数据集UniAttackData，该数据集包含1,800名参与者，涵盖了2种物理攻击和12种数字攻击，共计28,706个视频。然后，我们提出了一个统一的攻击检测框架UniAttackDetection+。该框架包括六个主要模块：教师-学生提示（TSP）模块，用于获取统一和具体的知识；统一知识挖掘（UKM）模块，旨在探索物理攻击和数字攻击所共享的语义特征空间；文本语义融合（TSF）模块，旨在整合两种主要攻击类型与教师和学生提示中的伪造内容之间的对应关系；攻击特征增强（AFE）模块，用于突出显示细微的伪造线索；统一攻击比较（UAC）模块，用于应对类别内差异大和类别间差异小的挑战；以及样本级提示交互（SLPI）模块，旨在理解样本级语义，通过融合语言描述和视觉特征来更精确地区分真实面部和伪造面部。这六个模块共同构成了一个强大的统一攻击检测框架。在UniAttackData和其他数据集上的广泛实验证明了我们方法的优越性。